,就是微点的配套设施更多,有浏览器,有导航网,有输入法,有音乐平台等等。
周不器笑了笑,“这点信心都没有?还是说你承认技术不行?”
王小船从小就是计算机天才,在技术方面从未服过谁,摇头道:“搜索引擎的架构高度复杂,有抓取器、渲染器、DNS解析、Redis内存数据库、URL队列、种子队列、响应队列、URL提取、URL过滤、重复URL检测等等,是一个技术性很强的庞大工程。我自认为微点的架构不比百度差,可一些技术细节,还需要时间。”
周不器笑着说:“我知道搜索技术很高端,可随着时间的推移,搜索技术就会走下神坛,变为比较大众的技术。最根本的技术,还是大数据处理。”
在大方向的理论上,周大老板比一些专业人士还强。
王小船深以为然,“是啊,大数据的处理。百度和谷歌的差距,微点和百度的差距,最主要的就是体现在我们在数据处理时的效率问题。按理来说,通过爬虫技术,可以抓取到互联网上所有信息。可相关信息太多了,数据量太大了。怎么才能在短时间内把想要的信息抓取并展示出来,是搜索引擎最大的技术难题。”
周不器打了个响指,笑道:“巧了,我这次过来,就是想问问你爬虫的事。”
王小船有些费解。
周大老板这个技术外行,怎么还关心起技术细节来了?
就缓缓的解释道:“爬虫是搜索的基础工具,爬虫搜信息……嗯,就跟使用浏览器上网差不多,都是先向服务器发送请求,获得返回的页面,然后筛选出有价值的内容。如果时间足够长计算量足够大,使用爬虫工具,就可以把互联网上的所有信息都搜索一遍。”
见周大老板似乎很感兴趣的样子。
王小船就拿过纸笔,很快速的写下了一行代码,“假如说我们要爬取微知网的信息,用这行代码就可以实现了。”
周不器拿过代码一看,嗯,是很简单。
headers={‘Use-Agent’:‘ChaiknowsThebot’,}
r=(“
print(html)
难怪说3月份的时候,北科有两个计算机系的大学生被开除了。
这技术好像是不太难。
因为大四写论文,可用谷歌、百度、微点等搜索引擎,却搜不到别人写的相关论文。怎么办?就有计算机系的学生,自己写了段爬虫算法。
然后成功的爬取到了几百篇相关论文。
接下来就好办了,摘抄、重组、整合。
如果查重不过关,也简单,用谷歌翻译,先汉译英、再英译汉。再人工地把句子整理通顺,查重就顺利通过。
可能是北科的创业环境被周不器给带起来了,那俩大学生就有了通过技术牟利的心思,玩
请收藏:https://m.qingcang8.cc
(温馨提示:请关闭畅读或阅读模式,否则内容无法正常显示)