网站蜘蛛，做网站优化的站长一定很清楚，新手却不解，这里引用百度百科里的百度蜘蛛介绍：百度蜘蛛，英文名是“Baiduspider”是百度搜索引擎的一个自动程序。它的作用是访问互联网上的网页、图片、视频等内容，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
网站蜘蛛指的就是百度蜘蛛，如何建立一张强大的网站蜘蛛网，高手们都有自己的一套方法，站长论坛上经常看到有关“让蜘蛛爬不完”的话题，说的就是网站优化中对网站链接的建设问题，通过多种锚文本贯穿在每个页面中，其中有站内也有站外的链接，从而让蜘蛛顺着链接有爬不完的内容。
建立网站蜘蛛网的方法
1、先从网站整体构架做起
说到方法就要有例子，以博客做例子，而博客的构架首先是用wordpress程序搭建，然后就是利用SEO插件对首页、栏目页、文章页的标题、关键词、描述进行优化，以及固定链接对栏目页、文章页以及标签页等的优化设置，然后就是在网站底部建立几个网站主关键词的锚链，这些其实都是为建立网站蜘蛛网做准备的。
2、内容是建立蜘蛛网的载体
做网站SEO听得最多的就是“内容为王，外链为皇”这句话，SEO界经过风风雨雨数十年，这句话到现在依然是真理;如果抛开搜索引擎，一个网站的生命力就是不断更新的新鲜内容，而网站的访客就像百度蜘蛛一样，看了后就欲罢不能，有价值的内容会受到越来越多的用户喜爱，从而转载分享出去，所以网站的内容其实比任何SEO都重要得多，而做网站优化，在内容适当地穿插锚链，不仅对用户的阅读有指导作用，更是对百度蜘蛛的友好方式，可以让蜘蛛更顺利更快速地抓取到网站的全部数据，这样的内容更新方式一举多得，何乐而不为?!
3、建立robots.txt以及网站地图sitemap
robots.txt对SE(搜索引擎)起到欢迎作用，这个文件告诉SE什么是网站最重要的，什么是网站不想被抓取的，robots.txt的设置网上有很多教程，大家可以在seowhy十万个为什么了解什么是robots.txt?网站地图sitemap是通知搜索引擎他们网站上有哪些可供抓取的网页。针对百度蜘蛛而建立的就是XML格式的sitemap.xml，大家也可以看看博客上的地图文件，利用WP的地图插件就可以轻松建立。
4、通过站群搭建更强大的蜘蛛网
前3点做好，无论是用户体验以及搜索优化都非常不错了，对百度蜘蛛也非常友好，只要不存在过度优化引起的SEO作弊行为，网站的权重一定与日俱增，而在第4点要讲的就是利用站群搭建更强大的蜘蛛网，上面的那张图就可以诠释网站蜘蛛网的基本构架，我更觉得是八卦图，网上不是有人说中国老祖宗的八卦图链轮吗，的确很强大，牵拉着这张网的就是圈外的几根蜘蛛丝，而通过蜘蛛的一根根搭建，最终形成一张坚韧有张力的网站蜘蛛网，而站群同样是如此建设起来的，而通过周密的链轮策略，最终形成一个强大的权重站群,而百度蜘蛛一旦进入网内,就好像是猎物被网住一样,最终成为蜘蛛的美食,站群形成的网站蜘蛛网,道理同样的如此,对于如何搭建站群蜘蛛网(行内称之为链轮)是非常耐人寻味的话题，因为站群的数量庞大，而链轮策略灵活缜密，因此可以派生出很多关于站群SEO的方法，欢迎大家一起讨论，多多交流，谢谢。
更新时间：2011-07-31
