如何让新网站不被(禁止所有)搜索引擎收录 robots.txt 文件设置

robots.txt文件必须放在网站根目录下

robots.txt文件名小写

指令如下：

User-agent: *

Disallow: /

              

此指令代表禁止所有的搜索引擎抓取网站的任何部分。此指令常用于站点不想被搜索引擎收录或者建站初期，当网站结构没有建设完成的时候，我们是不希望搜索引擎抓取网站任何内容的。