死 链 接：蜘蛛以前爬取过，但是后来无法访问的链接，我们称为死链接。
错误链接：用户地址输入错误。
重复页面：就不必说了，就是页面内容完全重复而访问地址不同的页面。
首先举个死链接很简单的例子：http://www.abc.com/Html/Faq_s_469.html
而其中Html/Faq_s_469.html就是你网站中应该有的处理网站死链接已经重复页面的txt格式的文档，引擎会通过这个文件来获取你网站哪些该抓取，哪些是你不让他抓取的内容。
好，切入正题。死链接以及重复页面的处理方法：
1、先用死链接检测工具（这里推荐站长工具，口碑比较好）把死链接找出来，然后用robots.txt语法屏蔽掉。
（强调一下这个robots.txt四周后生效）
2、具体要怎么写,七位广告公司现在教教大家，希望大家耐心的看下去:
首先打开robots.txt
User-agent：定义搜索引擎。
User-agent：* （定义所有搜索引擎，其中*就是代表所有）
Disallow:（禁止访问）
allow:（允许）
例如：User-agent：* 定义所有搜索引擎
Disallow:/admin/ 禁止访问admin目录
Allow/admin/aa.html 允许访问admin目录下aa.html这个文件
这样就可以很有效的和引擎握手。当然对你网站的排名也是有一定帮助的。
