Apache下網站日志裏面顯示百度蜘蛛（Baiduspider）等的(de)方法

　　網站的(de)優化工作很重要(yào / yāo)的(de)一(yī / yì ／yí)個(gè)環節就(jiù)是(shì)要(yào / yāo)讓搜索引擎蜘蛛到(dào)網站上(shàng)來(lái)抓取内容，如果搜索引擎蜘蛛都不(bù)來(lái)網站，那網站的(de)内容再多在(zài)豐富也(yě)是(shì)沒有用的(de)。
　　整個(gè)互聯網形如一(yī / yì ／yí)張網，搜索引擎的(de)抓取程序就(jiù)是(shì)通過這(zhè)些一(yī / yì ／yí)個(gè)一(yī / yì ／yí)個(gè)的(de)連接來(lái)抓取頁面内容的(de)，所以(yǐ)搜索引擎被形象的(de)叫做蜘蛛或網絡爬蟲。網絡爬蟲是(shì)搜索引擎的(de)一(yī / yì ／yí)個(gè)自動的(de)抓取頁面的(de)程序。搜索引擎蜘蛛通過跟蹤連接訪問頁面。獲得頁面HTML代碼存入數據庫。爬行和(hé / huò)抓取是(shì)搜索引擎工作的(de)第一(yī / yì ／yí)步，也(yě)就(jiù)是(shì)數據收集的(de)任務。然後就(jiù)是(shì)預處理以(yǐ)及根據算法排名。
　　對于(yú)站長來(lái)說(shuō)，網站的(de)第一(yī / yì ／yí)步就(jiù)是(shì)解決收錄問題，我們每天都在(zài)更新，可有時(shí)就(jiù)是(shì)不(bù)收錄。我們要(yào / yāo)想得到(dào)收錄和(hé / huò)蜘蛛的(de)青睐，你就(jiù)要(yào / yāo)懂得蜘蛛的(de)爬行原理和(hé / huò)規律。要(yào / yāo)學習和(hé / huò)研究蜘蛛爬行規律，分析網站的(de)訪問日志是(shì)重要(yào / yāo)的(de)一(yī / yì ／yí)項工作。下面我們來(lái)介紹如何查看網站的(de)訪問日志。

針對WDCP面闆 設置Apache日志記錄蜘蛛爬行
1、首頁，你要(yào / yāo)在(zài) “站點編輯” 裏面把 "開啓訪問日志 " 這(zhè)個(gè)選項打勾
2、配置vhost 裏面對應站點的(de) conf 文件（ /www/wdlinux/apache/conf/vhost）
把 CustomLog "/www/web_logs/你的(de)域名_access_log" common 這(zhè)一(yī / yì ／yí)行的(de)  common 修改成 combined
也(yě)就(jiù)是(shì)修改成 CustomLog "/www/web_logs/你的(de)域名_access_log" combined
修改完後保存一(yī / yì ／yí)下。
3、請确認CustomLog沒有被#号注釋掉，把 /www/wdlinux/apache/conf/httpd.conf  這(zhè)個(gè)文件也(yě)改一(yī / yì ／yí)下
把 #CustomLog "logs/access_log" combined  這(zhè)一(yī / yì ／yí)句前面的(de) # 去掉，然後再重啓web服務

4、重新啓動web服務，測試一(yī / yì ／yí)下效果
好了(le／liǎo)，以(yǐ)上(shàng)操作應該是(shì)可以(yǐ)實現效果了(le／liǎo)，希望大(dà)家都可以(yǐ)操作成功

特别提醒，針對WDCP面闆，如果在(zài)站點設置裏面修改了(le／liǎo)其他(tā)設置，保存之(zhī)後站點對應的(de)conf配置文件會自動覆蓋掉。或者點擊了(le／liǎo)“更新所有站 點配置”，對應的(de)conf配置文件也(yě)會覆蓋掉你手動添加的(de)代碼。到(dào)時(shí)候默認的(de)設置還會是(shì)：CustomLog "/www/web_logs/你的(de)域名_access_log" common，然後又得去手動改一(yī / yì ／yí)下。我找到(dào)一(yī / yì ／yí)個(gè)完美解決的(de)辦法，其他(tā)地(dì / de)方都不(bù)要(yào / yāo)動，也(yě)不(bù)用去修改站點的(de)conf配置文件。
直接修改apache默認的(de)httpd.conf配置文件。打開/www/wdlinux/apache/conf/httpd.conf。找到(dào)：
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %b" common

把common和(hé / huò)combined交換一(yī / yì ／yí)下就(jiù)行了(le／liǎo)，最終的(de)代碼：
LogFormat "%h %l %u %t \"%r\" %>s %b" combined
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" common

上(shàng)傳後重啓一(yī / yì ／yí)下web服務就(jiù)可以(yǐ)了(le／liǎo)。
原理就(jiù)是(shì)在(zài)“站點編輯” 裏面 "開啓訪問日志"後，默認是(shì)添加的(de)CustomLog "/www/web_logs/你的(de)域名_access_log" common 這(zhè)段代碼，生效的(de)就(jiù)是(shì)httpd.conf裏面common的(de)配置，改一(yī / yì ／yí)下默認的(de)common的(de)配置就(jiù)OK了(le／liǎo)。

針對單個(gè)主機的(de)配置方案 設置Apache日志記錄蜘蛛爬行
1、打開httpd.conf文件找到(dào)以(yǐ)下部分：LogFormat
“%h %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”" combined
LogFormat
“%h %l %u %t \”%r\” %>s %b” common
LogFormat
“%{Referer}i -> %U” referer
LogFormat
“%{User-agent}i” agent
具體有關LogFormat的(de)用法請參照：
2、接着我們繼續向下移動，找到(dào)虛拟主機配置段，也(yě)就(jiù)是(shì)VirtualHost段，這(zhè)個(gè)是(shì)由你自己來(lái)配置的(de)。本站的(de)虛拟主機的(de)日志文件是(shì)這(zhè)樣設置的(de)：如果你想記錄百度蜘蛛的(de)訪問全稱，就(jiù)按色部分設置：
CustomLog
/var/html/faq/logs/linux520-access.log combined
如果不(bù)想記錄百度蜘蛛的(de)頭部分，則如下設置：
CustomLog
/var/html/faq/logs/linux520-access.log common
按照以(yǐ)上(shàng)設置一(yī / yì ／yí)下，看看你的(de)日志文件是(shì)否發生變化了(le／liǎo)。