如何书写robots文件

我们在seo 化操作的时候，有时候会遇到过不想让蜘蛛爬行和抓取网站的 些页面，或者新建网站 线，由于种种 因暂时不想让搜索机器人程序抓取网站内容，我们该怎么办呢?方法很简单，这里就要用到robots.txt了，这个robots.txt文件是搜索蜘蛛进入 个网站后首先要爬行的文件，它的作用就是告诉搜索机器人，网站那些页面可以爬行抓取，哪些页面不可以抓取。它是 个 简单的，文本形式的TXT格式文件， 般情况下都默认放在网站程序的根目录里，现在常用的CMS系统如：dede、discuz、74cms、帝国cms、phpcms等等网站内容管理系统，都自带的有这个文件，如果是自己开发的 些网站内容管理系统，可以在程序根目录自行创建这个文本文件。

大家记住，如果站内没有robots.txt文件，则表明蜘蛛可以任意抓取网站的文件。对于我们seo网站 化来说并不是所有文件都需要让蜘蛛抓取的。例如 些不重要的文件，或者网站的死链接，我们就需要使用robots.txt来屏蔽掉，不让他抓取。

1、如果你的网站没要需要屏蔽的内容，那么这个文件里面就是空白

2、这个文件 须命名为：robots.txt ， 须是小写字母。

3、这个文件 须放在网站根目录下，例如：通过http://www.gezila.com/robots.txt 这个路径可以正常访问到，就说明放置正确。

4、 般情况下，robots.txt里 写着两个函数：User-agent(允许)和 Disallow(不允许抓取)

5、至少要有 个Disallow函数，如果都允许收录，则写: Disallow: ，如果都不允许收录，则写:Disallow: / (注： 是差 个斜杆)。

6、还要放你的网站地图的路径地址，因为这个文件时蜘蛛访问你的网站时首先爬行的页面，所以网站地图地址放进去会有 于收录。