robots.txt基本介绍robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确...

解决方案：1.可直接删除（可参考：http://zh.wikipedia.org/wiki/Robots.txt），但不利于SEO等2.修改Web服务器配置可以通过Web服务器（如Apache，Nginx）进行配置，禁止对.txt后缀文件的访问，此时会产生403错误，需要配置一下。2.1Apache配置：<Fil...