如何使用robots.txt控制搜索引擎的收录

如何使用robots.txt控制搜索引擎的收录,在写robots之前我们要明白robots是什么？其实robots就是一个必须要放在网站根目录的文本文件、这主要是让搜索蜘蛛(百度、google、yahoo)所读取的txt文件，文件名必须是小写的"robots.txt"。有人可能会问robots有什么作用,其实通过robots.txt我们可以控制搜索引擎蜘蛛的来访和收录，可以告诉搜索引擎有哪些文件、目录能收录，哪些不能收录。

最常见robots.txt的书写方法，举例说明如下：

1. 如果允许所有搜的SE收录网站：robots.txt为空就可以，什么都不要写。

2. 如果要禁止所有搜索引擎的SE收录网站的某些目录：

User-agent: *

Disallow: /目录名1/

Disallow: /目录名2/

Disallow: /目录名3/

3. 如果想禁止某个搜索引擎收录本站，如不想让百度收录可以这样写：

User-agent: Baiduspider

Disallow: /

4. 如果不想让所有的搜索引擎来收录本站，可以这样写：

User-agent: *

Disallow: /

5. 也可以加入sitemap.xml路径,例如：

Sitemap: http://www.seotest.cn/sitemap.xml

常见搜索引擎机器人Robots名字

名称     搜索引擎

Baiduspider http://www.baidu.com

Googlebot http://www.google.com

MSNBOT http://search.msn.com

ia_archiver http://www.alexa.com

一个在线写robots.txt的工具。

http://www.clickability.co.uk/robotstxt.html