3  網站優化

3.1  抓取友好性

關于(yú)抓取的(de)優先級，在(zài)此重點強調：

√ 網站更新頻率：經常更新高價值的(de)站點，優先抓取；

√ 受歡迎程度：用戶體驗好的(de)站點，優先抓取；

√ 優質入口：優質站點内鏈接，優先抓取；

√ 曆史的(de)抓取效果越好，越優先抓取；

√ 服務器穩定，優先抓取；

√ 安全記錄優質的(de)網站，優先抓取；

順暢穩定的(de)抓取是(shì)網站獲得搜索用戶、搜索流量的(de)重要(yào / yāo)前提，影響抓取的(de)關鍵因素，站長可以(yǐ)通過本章節了(le／liǎo)解。

3.1.1  URL規範

網站的(de)URL如何設置，可參考2.3.1中的(de)URL設置規範

3.1.1.1  參數

URL中的(de)參數放置，需遵循兩個(gè)要(yào / yāo)點：

√ 參數不(bù)能太複雜；

√ 不(bù)要(yào / yāo)用無效參數，無效參數會導緻頁面識别問題，頁面内容最終無法在(zài)搜索展示

另外，很多站長利用參數（對搜索引擎和(hé / huò)頁面内容而(ér)言參數無效）統計站點訪問行爲(wéi / wèi)，這(zhè)裏強調下，盡量不(bù)要(yào / yāo)出(chū)現這(zhè)種形式資源，例如：

https://www.test.com/deal/w00tb7cyv.html?s=a67b0e875ae58a14e3fcc460422032d3

或者：

http://nmtp.test.com/;NTESnmtpSI=029FF574C4739E1D0A45C9C90D656226.hzayq-nmt07.server.163.org-8010#/app/others/details?editId=&articleId=578543&articleType=0&from=sight

3.1.2  鏈接發現

3.1.2.1  百度蜘蛛

很多站長會咨詢如何判斷百度移動蜘蛛，這(zhè)裏推薦一(yī / yì ／yí)種方法，隻需兩步，正确識别百度蜘蛛：

查看UA

如果UA都不(bù)對，可以(yǐ)直接判斷非百度搜索的(de)蜘蛛，目前對外公布過的(de)UA是(shì)：

移動UA 1：

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (1.html)

移動UA 2：

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (1.html)

PC UA 1：

Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html）

PC UA 2：

Mozilla/5.0(1.html)

反查IP

站長可以(yǐ)通過DNS反查IP的(de)方式判斷某隻蜘蛛是(shì)否來(lái)自百度搜索引擎。根據平台不(bù)同驗證方法不(bù)同，如Linux/Windows/OS三種平台下的(de)驗證方法分别如下：

在(zài)Linux平台下，可以(yǐ)使用hostip命令反解IP來(lái)判斷是(shì)否來(lái)自百度蜘蛛的(de)抓取。百度蜘蛛的(de)hostname以(yǐ)*.baidu.com格式命名，非*.baidu.com即爲(wéi / wèi)冒充。

這(zhè)裏需要(yào / yāo)再提出(chū)一(yī / yì ／yí)點，建議使用DNS更換爲(wéi / wèi)8.8.8.8後進行nslookup反向解析，否則很容易出(chū)現無返回或返回錯誤的(de)問題。

在(zài)Windows平台下，可以(yǐ)使用nslookup ip命令反解IP來(lái)判斷是(shì)否來(lái)自百度蜘蛛的(de)抓取。打開命令處理器輸入nslookup xxx.xxx.xxx.xxx（IP地(dì / de)址）就(jiù)能解析IP，來(lái)判斷是(shì)否來(lái)自百度蜘蛛的(de)抓取，百度蜘蛛的(de)hostname以(yǐ)*.baidu.com格式命名，非*.baidu.com即爲(wéi / wèi)冒充。

在(zài)Mac OS平台下，網站可以(yǐ)使用dig命令反解IP來(lái)判斷是(shì)否來(lái)自百度蜘蛛的(de)抓取。打開命令處理器輸入dig xxx.xxx.xxx.xxx（IP地(dì / de)址）就(jiù)能解析IP，來(lái)判斷是(shì)否來(lái)自百度蜘蛛的(de)抓取，百度蜘蛛的(de)hostname以(yǐ)*.baidu.com的(de)格式命名，非*.baidu.com即爲(wéi / wèi)冒充。

3.1.2.2  鏈接提交

鏈接提交工具是(shì)網站主動向百度搜索推送數據的(de)工具，網站使用鏈接提交可縮短爬蟲發現網站鏈接時(shí)間，目前鏈接提交工具支持四種方式提交：

√ 主動推送：是(shì)最爲(wéi / wèi)快速的(de)提交方式，建議将站點當天新産出(chū)鏈接立即通過此方式推送給百度，以(yǐ)保證新鏈接可以(yǐ)及時(shí)被百度抓取；

√ Sitemap：網站可定期将網站鏈接放到(dào)Sitemap中，然後将Sitemap提交給百度。百度會周期性的(de)抓取檢查提交的(de)Sitemap，對其中的(de)鏈接進行處理，但抓取速度慢于(yú)主動推送；

√ 手工提交：如果不(bù)想通過程序提交，那麽可以(yǐ)采用此種方式，手動将鏈接提交給百度；

√ 自動推送：是(shì)輕量級鏈接提交組件，将自動推送的(de)JS代碼放置在(zài)站點每一(yī / yì ／yí)個(gè)頁面源代碼中，當頁面被訪問時(shí)，頁面鏈接會自動推送給百度，有利于(yú)新頁面更快被百度發現。

簡單來(lái)說(shuō)：建議有新聞屬性站點，使用主動推送進行數據提交；新驗證平台站點，或内容無時(shí)效性要(yào / yāo)求站點，可以(yǐ)使用Sitemap将網站全部内容使用Sitemap提交；技術能力弱，或網站内容較少的(de)站點，可使用手工提交方式進行數據提交；最後，還可以(yǐ)使用插件方式，自動推送方式給百度提交數據。

3.1.3  網頁抓取

3.1.3.1  訪問速度

關于(yú)移動頁面的(de)訪問速度，百度搜索資源平台（原百度站長平台）已于(yú)2017年10月推出(chū)過閃電算法，針對頁面首頁的(de)打開速度給予策略支持。閃電算法中指出(chū)，移動搜索頁面首屏加載時(shí)間将影響搜索排名。移動網頁首屏加載時(shí)間在(zài)2秒之(zhī)内的(de)，在(zài)移動搜索下将獲得提升頁面評價優待，獲得流量傾斜；同時(shí)，在(zài)移動搜索頁面首屏加載非常慢（3秒及以(yǐ)上(shàng)）的(de)網頁将會被打壓。

對于(yú)頁面訪問速度的(de)提速，這(zhè)裏也(yě)給到(dào)幾點建議：

資源加載：

√ 将同類型資源在(zài)服務器端壓縮合并，減少網絡請求次數和(hé / huò)資源體積； 

√ 引用通用資源，充分利用浏覽器緩存； 

√ 使用CDN加速，将用戶的(de)請求定向到(dào)最合适的(de)緩存服務器上(shàng)； 

√ 非首屏圖片類加載，将網絡帶寬留給首屏請求。

頁面渲染：

√ 将CSS樣式寫在(zài)頭部樣式表中，減少由CSS文件網絡請求造成的(de)渲染阻塞；

√ 将JavaScript放到(dào)文檔末尾，或使用異步方式加載，避免JS執行阻塞渲染； 

√ 對非文字元素（如圖片，視頻）指定寬高，避免浏覽器重排重繪；

希望廣大(dà)站長持續關注頁面加載速度體驗，視網站自身情況，參照建議自行優化頁面，或使用通用的(de)加速解決方案（如MIP），不(bù)斷優化頁面首屏加載時(shí)間。

了(le／liǎo)解MIP-移動網頁加速器可參考：https://www.mipengine.org/

3.1.3.2  返回碼

HTTP狀态碼是(shì)用以(yǐ)表示網頁服務器HTTP響應狀态的(de)3位數字代碼。各位站長在(zài)平時(shí)維護網站過程中，可能會在(zài)站長工具後台抓取異常裏面或者服務器日志裏看到(dào)各種各樣的(de)響應狀态碼，有些甚至會影響網站的(de)SEO效果，例如重點強調網頁404設置，百度搜索資源平台（原百度站長平台）中部分工具如死鏈提交，需要(yào / yāo)網站把内容死鏈後進行提交，這(zhè)裏要(yào / yāo)求設置必須是(shì)404。

下面爲(wéi / wèi)大(dà)家整理了(le／liǎo)一(yī / yì ／yí)些常見的(de)HTTP狀态碼：

301：（永久移動）請求的(de)網頁已被永久移動到(dào)新位置。服務器返回此響應（作爲(wéi / wèi)對GET或HEAD請求的(de)響應）時(shí)，會自動将請求者轉到(dào)新位置。

302：（臨時(shí)移動）服務器目前正從不(bù)同位置的(de)網頁響應請求，但請求者應繼續使用原有位置來(lái)進行以(yǐ)後的(de)請求。此代碼與響應GET和(hé / huò)HEAD請求的(de)301代碼類似，會自動将請求者轉到(dào)不(bù)同的(de)位置。

這(zhè)裏強調301與302的(de)區别：

301/302的(de)關鍵區别在(zài)于(yú)：這(zhè)個(gè)資源是(shì)否存在(zài)/有效；

301指資源還在(zài)，隻是(shì)換了(le／liǎo)一(yī / yì ／yí)個(gè)位置，返回的(de)是(shì)新位置的(de)内容；

302指資源暫時(shí)失效，返回的(de)是(shì)一(yī / yì ／yí)個(gè)臨時(shí)的(de)代替頁（例如鏡像資源、首頁、404頁面）上(shàng)。注意如果永久失效應當使用404。

有時(shí)站長認爲(wéi / wèi)百度對302不(bù)友好，可能是(shì)誤用了(le／liǎo)302處理仍然有效的(de)資源；

 400：（錯誤請求）服務器不(bù)理解請求的(de)語法；

403：（已禁止）服務器已經理解請求，但是(shì)拒絕執行它；

404：（未找到(dào)）服務器找不(bù)到(dào)請求的(de)網頁；

這(zhè)裏不(bù)得不(bù)提的(de)一(yī / yì ／yí)點，很多站長想自定義404頁面，需要(yào / yāo)做到(dào)确保蜘蛛訪問時(shí)返回狀态碼爲(wéi / wèi)404，若因爲(wéi / wèi)404頁面跳轉時(shí)設置不(bù)當，返回了(le／liǎo)200狀态碼，則容易被搜索引擎認爲(wéi / wèi)網站上(shàng)出(chū)現了(le／liǎo)大(dà)量重複頁面，從而(ér)對網站評價造成影響；

500：（服務器内部錯誤）服務器遇到(dào)錯誤，無法完成請求；

502：（錯誤網關）服務器作爲(wéi / wèi)網關或代理，從上(shàng)遊服務器收到(dào)了(le／liǎo)無效的(de)響應；

503：（服務不(bù)可用）目前無法使用服務器（由于(yú)超載或進行停機維護）。通常，這(zhè)隻是(shì)一(yī / yì ／yí)種暫時(shí)的(de)狀态；

504：（網關超時(shí)）服務器作爲(wéi / wèi)網關或代理，未及時(shí)從上(shàng)遊服務器接收請求。

3.1.3.3  robots

robots工具的(de)詳細工具使用說(shuō)明，細節參考4.3.4robots工具章節，關于(yú)robots的(de)使用，僅強調以(yǐ)下兩點：

√ 百度蜘蛛目前在(zài)robots裏是(shì)不(bù)支持中文的(de)，故網站robots文件編寫不(bù)建議使用中文字符；

√ robots文件支持UrlEncode編碼這(zhè)種寫法，如：http://www.test.cn/%E7%89%B9%E6%AE%8A:%E6%B5%8F%E8%A7%88/%E7%94%9F%E6%AD%BB%E7%8B%99%E5%87%BB:%E7%99%BD%E9%93%B6%E5%8A%A0%E7%89%B9%E6%9E%97

3.1.3.4  死鏈

當網站死鏈數據累積過多，并且被展示到(dào)搜索結果頁中，對網站本身的(de)訪問體驗和(hé / huò)用戶轉化都起到(dào)了(le／liǎo)負面影響。另一(yī / yì ／yí)方面，百度檢查死鏈的(de)流程也(yě)會爲(wéi / wèi)網站帶來(lái)額外負擔，影響網站其他(tā)正常頁面的(de)抓取和(hé / huò)索引。

百度搜索資源平台（原百度站長平台）推出(chū)死鏈提交工具，幫助網站提交死鏈數據，死鏈提交工具使用參考4.3.2死鏈提交工具。

什麽是(shì)死鏈及死鏈的(de)标準

頁面已經無效，無法對用戶提供任何有價值信息的(de)頁面就(jiù)是(shì)死鏈接，比較常見死鏈形式共有3種，協議死鏈和(hé / huò)内容死鏈是(shì)比較常見兩種形式，除此之(zhī)外還有跳轉死鏈。

√ 協議死鏈：頁面的(de)TCP協議狀态/HTTP協議狀态明确表示的(de)死鏈，常見的(de)如404、403、503狀态等；

√ 内容死鏈：服務器返回狀态是(shì)正常的(de)，但内容已經變更爲(wéi / wèi)不(bù)存在(zài)、已删除或需要(yào / yāo)權限等與原内容無關的(de)信息頁面；

√ 跳轉死鏈：指頁面内容已經失效，跳轉到(dào)報錯頁，首頁等行爲(wéi / wèi)。

3.1.4  訪問穩定性

訪問穩定性主要(yào / yāo)有以(yǐ)下幾個(gè)注意點：

DNS解析

DNS是(shì)域名解析服務器，關于(yú)DNS，這(zhè)裏建議中文網站盡可能使用國(guó)内大(dà)型服務商提供的(de)DNS服務，以(yǐ)保證站點的(de)穩定解析。

分享一(yī / yì ／yí)個(gè)DNS穩定性的(de)示例：

搜索資源平台（原站長平台）曾收到(dào)多個(gè)站長反饋，稱網站從百度網頁搜索消失，site發現網站數據爲(wéi / wèi)0。

經追查發現這(zhè)些網站都使用國(guó)外某品牌的(de)DNS服務器 *.DOMAINCONTROL.COM，此系列DNS服務器存在(zài)穩定性問題，百度蜘蛛經常解析不(bù)到(dào)IP，在(zài)百度蜘蛛看來(lái)，網站是(shì)死站點。此前也(yě)發現過多起小DNS服務商屏蔽百度蜘蛛解析請求或者國(guó)外DNS服務器不(bù)穩定的(de)案例。因此這(zhè)裏建議網站，謹慎選擇DNS服務。

蜘蛛封禁

針對爬蟲的(de)封禁會導緻爬蟲認爲(wéi / wèi)網站不(bù)可正常訪問，進而(ér)采取對應的(de)措施。爬蟲封禁其實分兩種，一(yī / yì ／yí)種就(jiù)是(shì)傳統的(de)robots封禁，另一(yī / yì ／yí)種是(shì)需要(yào / yāo)技術人(rén)員配合的(de)IP封禁和(hé / huò)UA封禁；而(ér)絕大(dà)多數情況下的(de)封禁都是(shì)一(yī / yì ／yí)些操作不(bù)當導緻的(de)誤封禁，然後在(zài)搜索引擎上(shàng)的(de)反應就(jiù)是(shì)爬蟲不(bù)能正常訪問。所以(yǐ)針對爬蟲封禁的(de)操作一(yī / yì ／yí)定要(yào / yāo)慎重，即使因爲(wéi / wèi)訪問壓力問題要(yào / yāo)臨時(shí)封禁，也(yě)要(yào / yāo)盡快做恢複處理。

服務器負載

抛開服務器硬件問題（不(bù)可避免），絕大(dà)多數引起服務器負載過高的(de)情況是(shì)軟件程序引起的(de)，如程序有内存洩露，程序出(chū)core，不(bù)合理混布服務（其中一(yī / yì ／yí)個(gè)服務消耗服務器資源過大(dà)引起服務器負載增大(dà)，影響了(le／liǎo)服務器對爬蟲訪問請求的(de)響應。）對于(yú)提供服務的(de)機器一(yī / yì ／yí)定要(yào / yāo)注意服務器的(de)負載，留足夠的(de)buffer保證服務器具有一(yī / yì ／yí)定的(de)抗壓能力。

其他(tā)人(rén)爲(wéi / wèi)因素

人(rén)爲(wéi / wèi)操作不(bù)當引起訪問異常的(de)情況是(shì)經常見到(dào)的(de)，針對這(zhè)種情況需要(yào / yāo)嚴格的(de)制度約束，不(bù)同站點情況不(bù)一(yī / yì ／yí)樣。需要(yào / yāo)保證每一(yī / yì ／yí)次的(de)升級或者操作要(yào / yāo)準确無誤。

3.1.5  可訪問鏈接總量

3.1.5.1  資源可窮盡

一(yī / yì ／yí)般來(lái)說(shuō)網站的(de)内容頁面是(shì)可窮盡的(de)，萬級别，百萬級别甚至億級别，但一(yī / yì ／yí)定是(shì)可窮盡的(de)。而(ér)現實中确實存在(zài)這(zhè)樣一(yī / yì ／yí)些網站，爬蟲針對這(zhè)些網站進行抓取提鏈時(shí)會陷入"鏈接黑洞"；通俗的(de)講就(jiù)是(shì)網站給爬蟲呈現的(de)鏈接不(bù)可窮盡；典型的(de)是(shì)部分網站的(de)搜索結果頁，不(bù)同的(de)query在(zài)不(bù)同anchor下的(de)a标簽鏈接不(bù)一(yī / yì ／yí)樣就(jiù)導緻了(le／liǎo)"鏈接黑洞"的(de)産生，所以(yǐ)嚴禁URL的(de)生成跟用戶的(de)訪問行爲(wéi / wèi)或者搜索詞等因素綁定。

3.2  頁面解析

頁面解析，主要(yào / yāo)指網站頁面被蜘蛛抓取，會對頁面進行分析識别，稱之(zhī)爲(wéi / wèi)頁面解析。頁面解析對網站至關重要(yào / yāo)，網站内容被抓取是(shì)網站被發現的(de)第一(yī / yì ／yí)步，而(ér)頁面解析，則是(shì)網站内容被識别出(chū)來(lái)的(de)重要(yào / yāo)一(yī / yì ／yí)環，頁面解析效果直接影響搜索引擎對網站的(de)評價。

3.2.1  頁面元素

3.2.1.1  頁面标題

關于(yú)網頁标題，百度搜索于(yú)2017年9月推出(chū)清風算法，重點打擊網站标題作弊，引導用戶點擊，損害用戶體驗的(de)行爲(wéi / wèi)；清風算法重點打擊的(de)标題作弊情況有以(yǐ)下兩種：

√ 文不(bù)對題，網站标題與正文有明顯不(bù)符合，誤導搜索用戶點擊，對搜索用戶造成傷害；

√ 大(dà)量堆砌，網站标題中出(chū)現大(dà)量堆砌關鍵詞的(de)情況也(yě)十分不(bù)提倡，

關于(yú)網站标題作弊的(de)詳細解讀，參考搜索學院發布官方文檔《百度搜索内容質量白皮書——網頁标題作弊詳解》。

關于(yú)網站TDK，有以(yǐ)下幾種情況需要(yào / yāo)注意：（"T"代表頁頭中的(de)title元素，"D"代表頁頭中的(de)description元素，"K"代表頁頭中的(de)keywords元素，簡單指網站的(de)标題、描述和(hé / huò)摘要(yào / yāo)）；

√ 百度未承諾嚴格按照title和(hé / huò)description的(de)内容展示标題和(hé / huò)摘要(yào / yāo)，尤其是(shì)摘要(yào / yāo)，會根據用戶檢索的(de)關鍵詞，自動匹配展示合适的(de)摘要(yào / yāo)内容，讓用戶了(le／liǎo)解網頁的(de)主要(yào / yāo)内容，影響用戶的(de)行爲(wéi / wèi)決策；

√ 站長會發現同一(yī / yì ／yí)條鏈接的(de)摘要(yào / yāo)在(zài)不(bù)同關鍵詞下是(shì)變化的(de)，可能不(bù)會完全符合站長預期，尤其是(shì)站長在(zài)檢索框進行site語法操作時(shí)，可能會感覺摘要(yào / yāo)都比較差。但請不(bù)要(yào / yāo)擔心，畢竟絕大(dà)多數普通網民不(bù)會這(zhè)樣操作。在(zài)此情況下出(chū)現不(bù)符合預期的(de)摘要(yào / yāo)并不(bù)代表站點被懲罰；

√ 還有一(yī / yì ／yí)種情況，是(shì)網頁中的(de)HTML代碼有誤，導緻百度無法解析出(chū)摘要(yào / yāo)，所以(yǐ)有時(shí)大(dà)家會看到(dào)某些結果的(de)摘要(yào / yāo)是(shì)亂碼（當然這(zhè)種情況很少見），所以(yǐ)也(yě)請站長注意代碼規範。

3.2.1.2  主體内容

主體内容注意兩個(gè)點，一(yī / yì ／yí)個(gè)主體内容過長（通常網頁源碼長度不(bù)能超過128k），文章過長可能會引起抓取截斷；另外一(yī / yì ／yí)個(gè)是(shì)注意内容不(bù)能空短，空短内容也(yě)會被判斷爲(wéi / wèi)無價值内容。

以(yǐ)下分析兩個(gè)示例：

關于(yú)主體内容過長的(de)示例分析：

某網站主體内容都是(shì)JS生成，針對用戶訪問，沒有做優化；但是(shì)網站特針對爬蟲抓取做了(le／liǎo)優化，直接将圖片進行base64編碼推送給百度，然而(ér)優化後發現内容沒有被百度展示出(chū)來(lái)；

頁面質量很好，還特意針對爬蟲做了(le／liǎo)優化，爲(wéi / wèi)什麽内容反而(ér)無法出(chū)現在(zài)百度搜索中；

分析主要(yào / yāo)有以(yǐ)下原因：

√ 網站針對爬蟲爬取做的(de)優化，是(shì)直接将圖片base64編碼後放到(dào)HTML中，導緻頁面長度過長，網站頁面長度達164k；

√ 站點優化後将主體内容放于(yú)最後，圖片卻放于(yú)前面；

√ 爬蟲抓取内容後，頁面内容過長被截斷，已抓取部分無法識别到(dào)主體内容，最終導緻頁面被認定爲(wéi / wèi)空短而(ér)不(bù)建索引。

這(zhè)樣的(de)情況給到(dào)以(yǐ)下建議：

√ 如站點針對爬蟲爬取做優化，建議網站源碼長度在(zài)128k之(zhī)内，不(bù)要(yào / yāo)過長；

√ 針對爬蟲爬取做優化，請将主體内容放于(yú)前方，避免抓取截斷造成的(de)内容抓取不(bù)全。

關于(yú)内容空短的(de)示例分析：

某網站反饋網站内容未被建索引，分析發現，網站抓取沒有問題，但被抓取到(dào)的(de)頁面，都提示需要(yào / yāo)輸入驗證碼才能查看全部頁面，這(zhè)類頁面被判斷爲(wéi / wèi)空短頁面，這(zhè)類頁面在(zài)抓取後，會被判定爲(wéi / wèi)垃圾内容。

而(ér)且當蜘蛛對一(yī / yì ／yí)個(gè)網站抓取後發現大(dà)面積都是(shì)低值的(de)空短頁面時(shí)，爬蟲會認爲(wéi / wèi)這(zhè)個(gè)站點的(de)整體價值比較低，那麽在(zài)後面的(de)抓取流量分布上(shàng)會降低，導緻針對該站點的(de)頁面更新會比較慢，進而(ér)抓取甚至建索引庫也(yě)會比較慢。

爲(wéi / wèi)什麽會出(chū)現網站内容空短這(zhè)種情況，其中一(yī / yì ／yí)個(gè)原因是(shì)網站内容未全部搭建完成，未對外開放，但已被蜘蛛爬取發現。針對這(zhè)種情況，建議網站在(zài)邀請測試階段使用robots封禁。

另外還會有些網站，設置用戶查看權限，如需用戶登陸才能查看全部内容，這(zhè)樣的(de)行爲(wéi / wèi)對搜索引擎也(yě)極不(bù)友好，蜘蛛無法模拟用戶登陸，僅能抓取網站已展示頁面，可能會導緻抓取頁面爲(wéi / wèi)空短的(de)現象。

這(zhè)裏再次強調，不(bù)要(yào / yāo)讓爬蟲給站點畫上(shàng)不(bù)優質的(de)标簽，對網站将産生很不(bù)好的(de)影響。另外，移動端的(de)H5頁面，很多都是(shì)采用JS方式加載，其實是(shì)更容易産生空短，請各位站長注意。
  

3.2.1.3  網頁發布時(shí)間

關于(yú)網頁發布時(shí)間，有以(yǐ)下幾點建議：

√ 網頁内容盡可能加上(shàng)産出(chū)時(shí)間，嚴格說(shuō)是(shì)内容發布時(shí)間；且時(shí)間盡量全，時(shí)間格式爲(wéi / wèi)年-月-日 時(shí):分:秒；

例：2017-08-12 10:23:06

√ 網頁上(shàng)切忌亂加時(shí)間，這(zhè)樣容易造成頁面時(shí)間提取問題，或搜索引擎判斷提取時(shí)間不(bù)可信，從而(ér)降低對網頁的(de)展現。

3.2.1.4  canonical标簽

canonical标簽的(de)目的(de)

在(zài)PC互聯網時(shí)代，canonical标簽的(de)作用主要(yào / yāo)是(shì)用來(lái)解決由于(yú)網址形式不(bù)同内容相同而(ér)造成的(de)内容重複問題。而(ér)在(zài)移動時(shí)代，canonical标簽被百度搜索賦予了(le／liǎo)更多的(de)意義，在(zài)原來(lái)的(de)作用基礎上(shàng)，又起到(dào)了(le／liǎo)相同内容的(de)移動頁和(hé / huò)PC頁之(zhī)間的(de)關聯作用；讓移動資源更容易繼承PC資源的(de)各種特征，從而(ér)快速生效移動網頁數據。

canonical标簽如何設置

在(zài)HTML代碼的(de)head裏添加rel="canonical",不(bù)能添加多個(gè)，否則搜索引擎會認爲(wéi / wèi)是(shì)無效的(de)canonical标簽。另外需要(yào / yāo)注意href裏的(de)地(dì / de)址不(bù)能是(shì)死鏈，錯誤頁或者被robots封禁的(de)頁面。

具體示例如下：

3.2.2  落地(dì / de)頁體驗

爲(wéi / wèi)提升移動搜索整體用戶體驗，提升搜索滿意度，百度搜索在(zài)2017年推出(chū)《百度移動搜索落地(dì / de)頁體驗白皮書——廣告篇2.0》（以(yǐ)下簡稱廣告白皮書）。廣告白皮書對網站移動落地(dì / de)頁頁面廣告内容、廣告位置、大(dà)小等做了(le／liǎo)明确要(yào / yāo)求，從而(ér)充分保證搜索用戶的(de)浏覽體驗。

白皮書詳情，請參考搜索學院官方文檔《百度移動搜索落地(dì / de)頁體驗白皮書——廣告篇2.0》

3.3  頁面價值

3.3.1  内容價值

原創文章，要(yào / yāo)求是(shì)獨立完成的(de)創作，且沒有歪曲、篡改他(tā)人(rén)創作或者抄襲、剽竊他(tā)人(rén)創作而(ér)産生的(de)作品，對于(yú)改編、注釋、整理他(tā)人(rén)已有創作而(ér)産生的(de)作品要(yào / yāo)求有充分的(de)點評、補充等增益信息。

建議原創文章在(zài)标題下方明确注明“來(lái)源：xxxx（本站站點名）”或“本站原創”之(zhī)類字樣，轉載文章明确注明“來(lái)源：xxxx（轉載來(lái)源站點名）”之(zhī)類字樣，不(bù)建議使用“admin”、“webmaster”、“佚名”等模糊的(de)說(shuō)法。

3.3.2  外鏈建設

通常認爲(wéi / wèi)，外鏈是(shì)本站點對第三方站點頁面的(de)鏈接指向，是(shì)本站點對第三方站點頁面内容的(de)一(yī / yì ／yí)種認可和(hé / huò)推薦。

站點進行外鏈建設時(shí)，建議是(shì)有真實推薦意圖，并且指向那些熟悉的(de)、被認可的(de)、内容相關的(de)外部頁面；不(bù)建議推薦與本站點頁面内容無關的(de)外鏈内容。也(yě)不(bù)建議亂推薦外鏈、交換外鏈互聯、指向作弊站的(de)行爲(wéi / wèi)（這(zhè)些很可能被超鏈策略反向識别成垃圾作弊站點進行打壓）。

最後，站長要(yào / yāo)及時(shí)發現和(hé / huò)處理站點被黑的(de)頁面。頁面被黑掉後，一(yī / yì ／yí)般會被人(rén)爲(wéi / wèi)放入大(dà)量無關的(de)，甚至作弊的(de)外鏈在(zài)該頁面上(shàng)，其目的(de)是(shì)要(yào / yāo)瓜分站點自身權重，并以(yǐ)此來(lái)提高外鏈目标站點影響力。建議站長發現後，及時(shí)向搜索資源平台（原站長平台）提交死鏈進行删除和(hé / huò)屏蔽，不(bù)及時(shí)處理一(yī / yì ／yí)定程度上(shàng)會影響站點本身的(de)權重。最好從技術上(shàng)優化，提高站點安全壁壘，防範于(yú)未然。

3.3.3  内鏈建設

内鏈，描述了(le／liǎo)站點的(de)結構，一(yī / yì ／yí)般起到(dào)頁面内容組織和(hé / huò)站内引導的(de)作用；内鏈的(de)重要(yào / yāo)意思是(shì)通過鏈接指向，告訴搜索引擎哪個(gè)頁面最爲(wéi / wèi)重要(yào / yāo)。

内鏈組織的(de)時(shí)候，建議結構清晰，不(bù)要(yào / yāo)過于(yú)冗雜，另外内鏈組織的(de)版式建議保持一(yī / yì ／yí)緻，這(zhè)樣對搜索引擎超鏈分析比較友好。

與外鏈類似，建議站長善于(yú)使用nofollow标簽，既對搜索引擎友好，又可避免因垃圾link影響到(dào)站點本身的(de)權重。

3.3.4  anchor

anchor描述：盡可能使用典型的(de)，有真實意義的(de)anchor。anchor描述要(yào / yāo)與超鏈接的(de)頁面内容大(dà)緻相符，避免高頻無意義anchor的(de)使用，另外同一(yī / yì ／yí)個(gè)URL的(de)anchor描述種類不(bù)宜過多，anchor分布越稀疏會影響搜索排名。