对于我们的网站来说，要想获得在搜索引擎的排名，最基本的就是应该被搜索引擎收录，要想被搜索引擎收录那么首先就要吸引蜘蛛抓取我们的网站，而蜘蛛对我们网站的抓取的次数和时间是有限的，尤其是刚建的新站，那么它就会按照一定的规则来进行抓取，这样的话就可以避免蜘蛛进入死胡同，有效地提高抓取效率。建立这样的规则后我们的网站也会引导蜘蛛抓取有用的内容，禁止抓取我们不想让蜘蛛抓取的内容或对搜索引擎不友好的内容，于是就有了一个叫做robots.txt的协议。
当然这个协议不是一个强制性的命令，它只是一个指令，所以说对于这样的协议蜘蛛可以遵守也可以不遵守。即使我们设置了robots后也不会马上生效，短则几天后生效，长则4周以上才能生效。
所以我们刚开始建立网站的时候也不要轻易屏蔽蜘蛛的抓取，避免当你想被蜘蛛抓取的时候而因为robots协议而延长网站的收录时间。