IDC行业工作记录

很多客户问我，为什么我的网站日志不能看到百度蜘蛛的记录呢？我自己没遇到过，所以非常困惑，就在网上详细查了一下，帮他们设置好了，第二天客户查看自己网站日志，果然能看到自己网站日志详细记录了百度蜘蛛等搜索引擎爬虫来过的信息，

一般空间商做的都是win2003的系统IIS6.0,那么在IIS里如何设置某个网站的日志能记录搜索引擎爬虫的痕迹呢？这个其实是非常简单的，如果您自己是服务器管理人员可以直接去设置，如果你买的是虚拟主机空间，那么你需要联系你空间商帮忙设置。

详细步骤如下：

1、运行“开始”“设置”“控制面板”“管理工具”“Internet 信息服务”。
2、在指定站点上点击鼠标右键，选择“属性”。
3、在网站“属性”窗口，　“网站”标签中在“启用日志记录”前打勾，并在“活动日志格式”中选择“W3C扩展日志文件格式，点击“活动日志格式”右侧的“属性”，打开日志记录属性面板，点击“高级”，如下图：

4、勾选里面的的用户代理（cs(User-Agent)）、协议状态、协议版本三个选项，这样，你才可以看到百度等爬虫的名称，默认的IIS日志是不开启这三个功能的，其他选项自由设置。我一般是勾选了这些。如下图：

最后重启IIS，这样第二天查看新的网站日志就可以百度蜘蛛等搜索引擎的爬虫记录了！至于怎么分析网站日志，网上很多教程，自己去看就行了。