许多的SEO文章提到了关于搜索引擎蜘蛛爬行网站的问题,分析服务器ISS日志可以知道有关蜘蛛是否来爬行过网站,从中也能分析蜘蛛的行踪以及出现的问题。作为SEO的工作也是需要养成分析日志的习惯,更有利与网站优化的展开,这是SEO优化的必需.
请看我网站给出的ISS日志如下:
2009-01-24 08:04:54 W3SVC1112 121.14.151.113 GET /robots.txt - 80 - 61.135.168.173 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0
2009-01-24 08:05:43 W3SVC1112 121.14.151.113 GET /cat_4/69/default.htm - 80 - 220.181.32.44 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0.
补充一点是iis日志一般的服务器自带生成,如果是使用虚拟空间的可以询问提供网站空间的服务商,他们会告诉你的。如果你使用过ftp上传器,应该可以看到一个log的文件夹(logfiles),里面就有iis日志了,日志的名字可以很容易看到,因为是使用日期命名的。可能有些服务商只提供一天,或者一个星期的iis日志。不清楚的可以询问服务商。从FTP直接下载到,本地懂iis分析的,可以直接打开iis日志查看关于搜索引擎蜘蛛爬行的动作,现在网上也有许多的关于分析日志的软件,用这些软件打开更容易直接的查看。
上面的ISS日志这里可以看到蜘蛛到访的时间、页面还有IP地址,后面的200 0 0就是HTTP状态码,200表示 服务器成功返回网页.
404表示请求的网页不存在,503 表示服务器超时 ,而 蜘蛛抓取出现的是200 0 64那你就要小心了,那一般是搜索引擎K站的征兆.
(推荐阅读:200 0 64的所谓权威解释正确吗?)
(推荐阅读:一个方便查询日志的小工具)
(推荐阅读:IIS日志蜘蛛分析工具,分析爬行时间)
(推荐阅读:入门知识:日志(log)字段名称的解释)