网络爬虫也叫网络蜘蛛，是搜索引擎中必不可少的环节，这些爬虫会顺着网络访问目标网站，把网页下载下来之后存储到文本服务器上，等到你要搜索关键词的时候就直接从文本服务器里调出来，这是一个搜索网站基本工作流程中的一环。

    “但是我这个爬虫可不简单哦，无惧爬虫协议！”石志文好像早就料到陈渤的态度，神气地道。

    “无惧爬虫协议？那你能抓取网页的比例是多少？”

    很多大型网站都欢迎爬虫光临，可以提高搜索引擎的排名来吸引流量，天空网也有写入这个爬虫协议的代码，其中的作用就是告诉爬虫，哪些你能抓取，哪些你不能。比如天空网内的歌曲库在服务器中的地址就不允许你抓取访问，这是为了避免别人下载音乐之后再进行盗版。

    但如果一个无惧爬虫协议的程序，那就牛了，管你什么网页统统下载走，简直就像手持核弹的入室强盗一样。陈渤对此还是保持一定怀疑性的，比如谷歌的爬虫一般能抓取40就算正常了，80就是超神了，100那就是吹牛逼了。

    “额…这个…那个5吧大概。”石志文支支吾吾地说道。

    陈渤都不好意思说他了，这这可怜的抓取量，爬过别人网页
 <本章未完请点击"下一页"继续观看!>