搜索引擎如何监控网站网页变化？

作者：创新互联文章来源：网络营销部点击数：更新时间：2008-11-02
(1) 为减少浏览器对web服务器流量过大，http 1.1 设计了 if-modified-since 和 E-tag 功能，你可以在每一次下载后，记住last-modified-time 和 E-tag内容，然后下一次抓取时，在http协议上带上这些值，如果内容没变化，web服务器直接返回页面未变化错误码，从而快速得出网页未变化结论；此法判断不出，在跳入指纹比较。

(2) 从效率上考虑，我们不能对所有网页一视同仁，而应该重点检查；测试发现，大部分网站的网页变化应该有一定规律的，比如首页和论坛列表页等容易发生变化，但老新闻内容页可能几年都不会发生变化；只要把经常变的给揪出来，变化内容就顺便发现了，那么怎么跟踪这些变化呢？可以记录每个url的阶段性变化历史(如访问了几次，变化了几次)，然后下次抓取时，对其进行预测，优先级排序，经常变化的经常访问。
自已动手做搜索引擎24种方案 :上一篇
成都网站优化搜索引擎的基本工作原理 :下一篇

营销推广