http://tool.motoricerca.info/robots-checker.phtml
此robots.txt分析是由意大利非营利性的意大利的网站优化和搜索引擎公司 Motoricerca 的,
不过要注意,使用这个工具,要把robots.txt里的汉字注释清除,它不能识别汉字;如果有汉字就不认为是一个有效的robots.txt文件。
如果Robots文件验证通过的话,一般会显示以下结果:
Analyzing file http://www.XXX.com/robots.txt No errors found in this robots.txt file Hide empty and comments lines: The following block of code DISALLOWS the crawling of the following files and directories: /inc/ to all spiders/robots. Line 1 # robots.txt for www.XXX.com Line 2 User-agent: * Line 3 Disallow: /inc/
另外,Google网站管理员工具也可以在线验证robots文件,Google是支持中文注释的。
登录到 Google 网站管理员工具后, 在"控制台"中,点击所需网站的网址,点击工具,然后点击分析 robots.txt就行。