一、我们一个新站如果没把站内布局做完，可以用robots文件设置禁止搜索引擎抓取访问，它禁止全部蜘蛛爬行的语法是：
User-agent: *
Disallow: /
如果你想禁止个别搜索引擎蜘蛛，我拿谷歌的举例：
User-agent: Googlebot
Disallow: /
按理说我们设置了禁止这样蜘蛛就不会爬行了，然而事实真是这样吗？
篇章的答案是否定的
2、robots.txt具有屏蔽死链接的作用，提交后会不会立马这些死链接会消失收录
篇章的答案是否定的，因为我们都知道百度在各个省都有各个百度的服务器，因此不可能同时清楚缓存，为此我们可以ping一下百度。
操作过程：
一、打开系统的运行，快捷键是“WIN+R”
二、输入ping-空格-百度域名-最后回车