搜索引擎蜘蛛是英文spider直译过来的。在SEO优化中，我们一般叫他探测器。蜘蛛是搜索引擎机器人(Robot)的比较常见的一种。

我们也经常会碰到crawlew（爬行器），spider（蜘蛛），都是探测器之一，只是叫法不同。

SEO中常说的这个探测器(Robot)是什么？

搜索引擎用来抓取网页的工具。它通常是一个软件或者说一系列自动程序(显然，它不是一部机器)。

不同的搜索引擎会给他们自己的探测器(Robot)起不同的名字。

谷歌:googlebot  百度:baiduspider   MSN:MSNbot   Yahoo:Slurp  (yahoo家的这位比较特殊，没有带“姓”，并且用的是一个拟声词。Slurp，中文理解是机器人吃东西时发出的啧啧的声音)

关于Robot，需要关心的主要是Robots.txt的写法，以及网站日志中包含的以上几个名字返回的HTTP状态码，他们能够很明确的显示它所去过的你的网站的某个页面是否被搜索引擎收录。