搜索机器人 是收集某敏感方面的内容吗 (1人在浏览)

[政府培养出来的电白资深愤青]

搜索机器人 是什么？

 

[中心人]

搜索引擎机器人也称网络蜘蛛（Web Spider），这是一个很形象的名字。把互联网比喻
成一个蜘蛛网，那么Spider 就是在网上爬来爬去的蜘蛛。网络蜘蛛通过网页的链接地址来
寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它
链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所
有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理
把互联网上所有的网页都抓取下来。
在抓取网页的时候，网络蜘蛛一般有两种策略：广度优先和深度优先（如下图）。
图4-1-1 广度优先与深度优先
广度优先 是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个
链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让
网络蜘蛛并行处理，提高其抓取速度。

 

[byronroy]

放心，不是专门冲楼主来的