分析网站日志能获取到的信息总结：

1、可以看出网站页面有哪些搜索引擎的蜘蛛抓取，通过网站日志可以了解蜘蛛对网站的基本爬取情况，可以知道蜘蛛的爬取轨迹和爬取量。

从网站日志里面可以看出网站被哪些蜘蛛所抓取，每个类型的蜘蛛也都属于自己的特殊标头，各大搜索引擎的标头特征如下所示：

百度蜘蛛:baiduspider

谷歌蜘蛛：Googlebot

360蜘蛛：360Spider

SOSO蜘蛛：Sosospider

雅虎蜘蛛：“Yahoo! Slurp China”或者Yahoo!

有道蜘蛛：YoudaoBot，YodaoBot

搜狗蜘蛛：Sogou News Spider

MSN蜘蛛：msnbot，msnbot-media

必应蜘蛛：bingbot

提醒：网站的日志里面也有可能会出现一些其它私人开发的抓取器所抓取，由此我们可能会发现一些奇怪的蜘蛛抓取痕迹。另外百度也有属于自己的匿名蜘蛛，我们也要注意区分注意。

2、网站的更新频率也和网站日志中蜘蛛抓取的频率有关，一般来说更新频率越高，蜘蛛的抓取频率越高，而我们网站的更新不仅仅只是新内容的添加同时还有我们的微调操作。

3、我们可以根据网站日志的反应情况，对我们的空间的某些事情和问题提前进行预警，因为服务器如果出问题的话在网站日志中会第一时间反映出来，要知道服务器的稳定速度和打开速度两者都会直接影响我们的网站。

4、通过网站日志我们可以知道网站的那些页面是很受蜘蛛欢迎的，而哪些页面是蜘蛛连碰都不去碰的，同时我们还能发现有一些蜘蛛由于是过度爬取对我们的服务器资源损耗是很大的，我们要进行屏蔽工作。

5、蜘蛛平均抓取页面的次数、页面平均停留时间以及抓取的数量。

（1）、平均每次抓取页面数=总抓取量/访问次数

（2）、单页抓取停留时间

（3）、页面平均停留时间=总停留时间/访问次数

百度站长平台蜘蛛抓取频次