PHPWEB 如何防止网站被搜索引擎搜索到

这个功能对刚接触SEO的新人来说，可能有点鸡肋，我做的站就是为了让搜索引擎收录，为什么要禁止搜索引擎收录，这不是在扇自己耳光嘛。
    但是有些时候，当我们的网站有一些页面或者文件夹不希望被搜索引擎收录的时候，比如说网站后台登录地址，这个功能就派上用场了。在网站的根目录加上robots.txt文件，这样搜索引擎蜘蛛发现网站有此文件就会按Robots.txt文件中的规则决定是否爬行网站。
    Robots.txt文件可以这样写:
    User-agent: *
    Disallow: /
    这样就拒绝了所有搜索引擎收录。