写好robots.txt后，最好进行一下测试，以免robots.txt禁止了一些不必要的页面。google已经给我们提供了现成的工具：抓取工具的权限和像 Googlebot 一样抓取。要想使用这两个工具，你先要在google网站管理员工具中添加相关网站的地址，并完成网站验证。由于我在几次测试中使用Googlebot 一样抓取工具时显示结果并不是很准确，所以我推荐使用前者：抓取工具的权限
进入网站配置--抓取工具的权限，进入页面后在页面上方的框中填入你的robots.txt内容，例如我的填入如下内容：
在网址栏中填入你要测试的网址：
完成以上设置后，点击测试，就能很快把以上测试网址能不能被搜索引擎收录的结果显示出来。
google网站管理员工具:https://www.google.com/webmasters/tools/home?hl=zh-cn
