自動外鏈工具 在線排版工具 搜索引擎提交入口 wordpress主題推薦 批量打開網址工具 【老域名購買】 思享SEO導航 【網站合作】

百度移動搜索建站優化白皮書

文章目錄
  1. 網站建設
  2. 網站優化
  3. 百度專屬SEO工具
  4. 網站常見問題專題

手機百度是一款有6億用戶在使用的手機搜索客戶端,在中文用戶信息獲取上發揮了不可替代的作用;移動搜索引擎每日分發上億流量給到優質安全網站,來滿足用戶的搜索需求;而對于廣大的站長來說,優質安全的網站有助于在搜索引擎中獲得良好的排序和展現,從而吸引更多用戶,獲得更多流量。

移動搜索引擎優化,指從建站開始到吸引用戶,貫穿所有流程,為了讓百度搜索的重要合作伙伴——廣大站長充分了解百度搜索引擎規則,并根據規則合理安全建設網站、優化網站,更好的獲取搜索流量;百度搜索資源平臺歷時3個月,探訪搜索內部各個技術部門,將百度搜索內部技術原理抽絲剝繭,化零為整,整理出《百度移動搜索建站優化白皮書》,希望與各位站長攜手,為用戶提供一個健康安全高效的搜索環境。

網站建設流程

網站建設

域名選擇

網站域名選擇,不僅能快速直觀讓用戶了解網站定位,域名設置,更會影響搜索對網站的抓取情況。因此,選擇簡單好記且安全的域名,是網站搭建前期最重要的一步。

域名選擇的注意事項

網站搭建之初,對網站域名選擇,建議域名獨立,簡單好記;獨立移動站域名選擇也遵循此規則。

移動站的域名需與PC站域名分開,移動站不建議與PC站公用一個域名;比如PC網站域名建議是 www.dolehk.live,對應移動站的域名是m.4xseo.com,而不是 www.dolehk.live/m/的形式;如果是自適應網站可不考慮此情況。

網站域名選擇中,需要規避的是,互聯網中一些開放注冊的域名

類似的還有:.party,.science等。

此類域名注冊成本相對較低,一般是站群作弊者的溫床,針對這類域名后綴,不建議各位站長們使用,使用后可能會出現搜索抓取延遲等問題;如有發現正當運營的此類域名站點,請在搜索資源平臺驗證站點,系統校驗站點內容后,則會保持跟其他正常域名一樣的抓取優先級。

使用子域名或目錄

網站是否需要建立子域名,或是劃分多級目錄,可根據網站自身定位及網站內容量級決定。通常來說,綜合類或內容量較多的網站,可將內容按照不同二級域明確劃分;而如果網站內容較少,不建議網站開設過多的子域名。

舉例來說,blog形式站點,有的網站給到每個blog作者單獨的三級域,但如果作者發布頻率較低,整個三級域都是更新頻率很低的狀態,過低的發布頻率對搜索引擎來說是不友好的。

內容發布系統

內容發布系統,無論是網站自建還是使用第三方建站系統,百度都是支持的;所有發布系統,除遵循有條理、邏輯清晰建站,還要注意網站搭建的安全問題,避免網站安全隱患,才能更好的提升網站價值。

自建內容發布系統

網站自建內容發布系統,注意事項包括:

  • 主體內容清晰且能夠很好的識別與分辨;
  • 后臺發布時間切勿自行設置,遵循發布時間與展示時間一致;
  • 內容發布系統中各表單設置合理,如對tag標簽的設置不宜過多、不宜羅列關鍵詞;
  • 分類劃分明確,分類主題的文章對應發布到相應分類下;
  • 題文相符,切勿掛羊頭賣狗肉,欺騙搜索引擎流量,損傷用戶體驗;
  • 段落清晰合理、字體大小適中、字體顏色切勿使用與背景色相近的顏色;
  • 發布內容目錄劃分清晰,具體參考2.3章節中網站結構設置。

第三方發布系統

使用第三方發布系統建站,需要站長關注以下注意事項:

  • 模板主題不建議頻繁更換;
  • 類似wordpress等系統,不建議使用過多插件,會影響網頁打開速度;
  • URL偽靜態的處理,命名規范、層級清晰;
  • 開源建站系統存在較多安全隱患,使用過程中務必做一些安全上的設置和優化。

頁面生成規范

無論網站自建發布系統,還是網站使用第三方建站系統,網站頁面的生成,都應注意以下幾點:

網頁結構清晰、各分類名稱設置醒目;

導航、面包屑導航設置合理,機器可讀、位置突出,用戶能很好得知所訪問頁面在網站中的位置;

不存在遮擋主體內容的廣告元素;

無三俗圖文、音頻元素;

注意網站搭建系統安全問題,杜絕網站安全隱患。

訪問請求中的content-type需要根據對應的類型進行正確設置,圖示如下:

content-type

除此之外,關于頁面規范標準,建議參考搜索學院發布的《百度搜索Mobile Friendly(移動友好度)標準V1.0

網站結構

合理設置網站結構,是網站被快速抓取、獲得搜索流量的基礎;因網站結構設置不合理,導致網站無法被快速識別抓取的事例在百度日常反饋中經常見到,且網站換域名也會對網站造成一定損失,故希望各位站長從建站之初重視網站結構設置,避免不必要的損失。

URL結構設置

URL搭建是否有嚴格要求,請看以下幾點注意事項:

在搭建網站結構、制作URL時,盡量避開非主流設計,追求簡單美即可,越簡單越平常,越好,例如URL中出現生僻字符,如不常見的“II”,會引起搜索引擎識別錯誤;

不建議URL中含有中文字符,中文字符容易出現編碼轉換問題,造成識別錯誤

URL長度要求去掉協議頭http(s)://之后的URL長度不要超過256個字節;

謹慎使用#參數,有效的參數不能放在#后面;可能被截斷導致網頁抓取異常。

目錄結構設置

網站目錄結構搭建是否合理,影響搜索引擎對網站的抓取情況,這里需要提到的是,網站目錄結構無論是扁平化還是樹形結構,一般都可以被搜索引擎發現,但有以下幾點注意事項:

建議不同內容放在不同目錄或子域下,域名劃分在2.1.2網站域名劃分章節中有詳細提到;

不要使用孤島鏈接,孤島鏈接很難被搜索引擎快速發現;若網站已存在大量孤島鏈接,建議使用搜索資源平臺的鏈接提交工具向百度提交數據;

重要內容不建議放在深層目錄,若該內容沒有大量內鏈指向,搜索引擎很難判斷該頁面的重要程度。

以下是圖片示例:

重要內容不建議放在深層目錄

服務商/自建服務器

選擇服務商或者自建服務器,對網站搭建都是十分重要基礎的一環;服務器安全和穩定將直接影響百度搜索引擎對網站的整體判斷。

域名服務

域名服務&域名部署

關于域名服務和域名部署,有以下注意事項:

  • 站長在域名部署中請仔細各環節問題,不要出現域名部署錯誤情況;
  • 不建議網站進行泛解析,若網站爆發大規模泛解析,且影響惡劣,則會受到搜索策略打壓;
  • 盡量選擇優質域名服務商。

服務器

做網站還有非常重要的一環,就是服務器的選擇,那服務器選擇中,無論是虛擬主機、云主機還是獨立的服務器,都應該注意以下四點:

  • 中文網站不建議選擇國外服務器;
  • 服務器的穩定性非常重要,需要保持訪問流暢,服務器是否穩定,可以使用百度搜索資源平臺(原百度站長平臺)抓取異常、抓取診斷工具進行檢測維護。(服務器經常無法訪問或者死機,對爬蟲來講都是致命傷害);
  • 服務器選擇除了自身的穩定性外,實際上還要考慮網站的業務量,例如帶寬、內存、CPU是否能夠承受訪問量,突發大流量情況下是否可以正常訪問;
  • 服務器主機設置,需要注意是否有禁止爬蟲抓取的設置、或存在404錯誤信息設置,這些情況都會引起不必要的搜索引擎抓取判斷異常,為網站帶來不必要的損失。

虛擬主機

總的來說,建議虛擬主機選購時候需要特別注意:

  • 主機商是否存在限制搜索引擎訪問的情況;
  • 主機商的資質是否符合要求;
  • 主機商的技術沉淀是否足夠,建議選擇品牌較大的主機商;
  • 主機商托管的機房的物理條件和網絡條件是否足夠優秀;
  • 主機商的技術和客服支持情況是否夠好;
  • 主機商是否會存在超容量的情況;
  • 主機商是否存在違規接入高風險站點的問題或同一IP下是否會存在高風險站點的情況;
  • 國內站點建議選購國內云主機建站。

獨立主機

獨立主機為站點帶來更加寬松的使用環境和個性軟件的安裝,因此獨立主機需要站長擁有一定的技術力量來保證網站的正常運行和安全。

我們對于站長選購和托管獨立主機的建議是:

  • 注意虛擬主機是否有將爬蟲IP拉入黑名單,關于百度UA,可以參考3.1.2.1百度蜘蛛章節;
  • 建議使用獨立IP地址的主機;
  • 建議使用規模較大機構的主機,在安全配置、穩定性上相對更好;
  • 對IDC服務商的建設標準需要一定的考慮,例如防火、防盜、是否有UPS保證、室內溫控、消防等;
  • IDC服務商的服務質量和技術是否達標,是否24h值班,是否能夠協助排查一些故障、免費重啟重裝系統等;
  • IDC機房的資質是否齊全,存放站點是否有高風險站點或服務器存在。

安全服務

?HTTPS

當前百度已實行全站化HTTPS安全加密服務,百度HTTPS安全加密已覆蓋主流瀏覽器,旨在用戶打造了一個更隱私化的互聯網空間、加速了國內互聯網的HTTPS化。同時也希望更多網站加入到HTTPS的隊伍中來,為網絡安全貢獻一份力量。

HTTPS安全原理解析

HTTPS主要由有兩部分組成:HTTP + SSL / TLS,也就是在HTTP上又加了一層處理加密信息的模塊。服務端和客戶端的信息傳輸都會通過TLS進行加密,所以傳輸的數據都是加密后的數據。HTTPS與HTTP的原理區別可以觀察下圖:

HTTS復雜的加密機制有效的加大了網站的安全性,加密機制與認證機制可以減少網站被劫持和假冒的風險,建議站長們可以通過做HTTPS改造來強化網站安全。

百度搜索資源平臺為了更好的抓取識別HTTPS網站,2017年還推出了HTTPS認證工具,已經完成HTTPS改造的網站,可以在搜索資源平臺-網站支持-HTTPS認證工具中提交網站的HTTPS數據,便于百度更好抓取識別網站。關于HTTPS認證工具詳解,可以參考5.3.2HTTPS認證工具章節。

網站防止被黑對策

網站被黑,通常表現為網站中出現大量非本網站發布的類似博彩內容,或網站頁面直接跳轉到博彩頁面;以下是網站被黑后發布的內容:

內容非網站發布,內容中含大量博彩網站指向:

容中含大量博彩網站指向

網站頁面直接跳轉到博彩網站:

博彩網站

首先,自查是否被黑

  • 被黑網站在數據上有一個特點,即索引量和從搜索引擎帶來的流量在短時間內異常數據異常。所以,站長可以利用百度搜索資源平臺(原百度站長平臺)的索引量工具,觀察站點索引量是否有異常;如果發現數據異常,再通過流量與關鍵詞工具查看獲得流量的關鍵詞是否與網站有關、是否涉及博彩和色情;
  • 通過Site語法查詢站點,結合一些常見的色情、博彩類關鍵詞效果更佳,有可能發現不屬于站點的非法頁面;
  • 由于百度流量巨大,有些被黑行為僅針對百度帶來的流量予以跳轉,站長很難發現,所以在查看自己站點是否被黑時,一定要從百度搜索結果中點擊站點頁面,查看是否跳轉到了其他站點;
  • 站點內容在百度搜索結果中被提示存在風險;
  • 后續可以請網站技術人員通過后臺數據和程序進一步確認網站是否被黑。

其次,被黑之后如何處理

  • 確認網站被黑后,SEO人員除了要推動技術人員快速修正外,還需要做一些善后和預防的工作;
  • 網站如有變更頁面,變更頁面建議使用鏈接提交工具向百度提交數據;
  • 立即停止網站服務,避免用戶繼續受影響,防止繼續影響其他站點;
  • 如果同一主機提供商同期內有多個站點被黑,可以聯系主機提供商,敦促對方做出應對;
  • 清理已發現的被黑內容,將被黑頁面設置為404死鏈,并通過百度搜索資源平臺(原百度站長平臺)死鏈提交工具進行提交。(我們發現有些站點采用了將被黑頁面跳轉至首頁的做法,非常不可取。);
  • 排查出可能的被黑時間,和服務器上的文件修改時間相比對,處理掉黑客上傳、修改過的文件;檢查服務器中的用戶管理設置,確認是否存在異常的變化;更改服務器的用戶訪問密碼。注:可以從訪問日志中,確定可能的被黑時間。不過黑客可能也修改服務器的訪問日志;
  • 做好安全工作,排查網站存在的漏洞,防止再次被黑。

網站自我防護的注意事項:

√?多種安全防護同步進行:適合中小型資訊網站;

●?網站程序勤打補丁:現在很多資訊類網站用的系統使用了內容管理系統(CMS),作為新聞發布系統,功能還算可以了,但是作為比較常見的內容管理系統(CMS),也有另一個問題,那就是漏洞比較大眾化,因為源碼是公開的,所以很容易被研究出漏洞,需要對網站程序及時進行漏洞修復。

√?對服務器進行常規的安全防護;

●?在上班時間之外,對服務器上的網站權限做設置,禁止文件修改,后臺文件隱藏或遷移到根目錄之外。

●?參考一些網站的安全設置,非限定的IP不能寫入到數據庫。

√?不使用開源程序默認的robots文件;

●?下圖是一個地級市的資訊類站點的robots文件,從robots文件中可以看出,該網站用的是織夢后臺,那黑客就可以通過各種針對織夢攻擊的軟件進行操作了,也可以針對織夢網站的常見漏洞進行掃描和針對性攻擊了。

robots文件

網絡服務

CDN

從搜索抓取機制上講:百度蜘蛛對站點的抓取方式和普通用戶訪問一樣,只要普通用戶能訪問到的內容,百度蜘蛛就能抓取到。不管是用什么技術,只要能保證用戶能流暢的訪問網站,對搜索引擎就沒有影響。但有站長反饋使用CDN后出現網站抓取異常、甚至流量異常等問題,主要是兩方面的因素:

一是部分CDN服務商硬件投入不夠,經常出現不穩定情況,會導致大量的蜘蛛抓取失敗,從而影響網站抓取效果,有的甚至影響了索引量數據;所以選擇有實力的CDN服務商很重要;

二是緩存機制在網站出現死鏈、無法打開、被黑等情況的時候起到了推波助瀾的作用。短時間內產生了一些不利快照,影響了排名。這種情況不用擔心,及時清理源文件和CDN緩存,并在百度搜索資源平臺(原百度站長平臺)提交相關死鏈數據等方法進行挽回,是可以恢復的。

網站優化

抓取友好性

關于抓取的優先級,在此重點強調:

  • 網站更新頻率:經常更新高價值的站點,優先抓取;
  • 受歡迎程度:用戶體驗好的站點,優先抓取;
  • 優質入口:優質站點內鏈接,優先抓取;
  • 歷史的抓取效果越好,越優先抓取;
  • 服務器穩定,優先抓取;
  • ?安全記錄優質的網站,優先抓取;

順暢穩定的抓取是網站獲得搜索用戶、搜索流量的重要前提,影響抓取的關鍵因素,站長可以通過本章節了解。

URL規范

網站的URL如何設置,可參考2.3.1中的URL設置規范

參數

URL中的參數放置,需遵循兩個要點:

  • 參數不能太復雜;
  • 不要用無效參數,無效參數會導致頁面識別問題,頁面內容最終無法在搜索展示

另外,很多站長利用參數(對搜索引擎和頁面內容而言參數無效)統計站點訪問行為,這里強調下,盡量不要出現這種形式資源,例如:

https://www.test.com/deal/w00tb7cyv.html?s=a67b0e875ae58a14e3fcc460422032d3

或者:

http://nmtp.test.com/;NTESnmtpSI=029FF574C4739E1D0A45C9C90D656226.hzayq-nmt07.server.163.org-8010#/app/others/details?editId=&articleId=578543&articleType=0&from=sight

鏈接發現

百度蜘蛛

很多站長會咨詢如何判斷百度移動蜘蛛,這里推薦一種方法,只需兩步,正確識別百度蜘蛛:

查看UA

如果UA都不對,可以直接判斷非百度搜索的蜘蛛,目前對外公布過的UA是:

移動UA 1:

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/ search/ spider.html)

移動UA 2:

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA 1:

Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA 2:

Mozilla/5.0(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/ spider.html)

反查IP

站長可以通過DNS反查IP的方式判斷某只蜘蛛是否來自百度搜索引擎。根據平臺不同驗證方法不同,如Linux/Windows/OS三種平臺下的驗證方法分別如下:

在Linux平臺下,可以使用hostip命令反解IP來判斷是否來自百度蜘蛛的抓取。百度蜘蛛的hostname以*.baidu.com格式命名,非*.baidu.com即為冒充。

反查IP

這里需要再提出一點,建議使用DNS更換為8.8.8.8后進行nslookup反向解析,否則很容易出現無返回或返回錯誤的問題。

在Windows平臺下,可以使用nslookup ip命令反解IP來判斷是否來自百度蜘蛛的抓取。打開命令處理器輸入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析IP,來判斷是否來自百度蜘蛛的抓取,百度蜘蛛的hostname以*.baidu.com格式命名,非*.baidu.com即為冒充。

在Mac OS平臺下,網站可以使用dig命令反解IP來判斷是否來自百度蜘蛛的抓取。打開命令處理器輸入dig xxx.xxx.xxx.xxx(IP地址)就能解析IP,來判斷是否來自百度蜘蛛的抓取,百度蜘蛛的hostname以*.baidu.com的格式命名,非*.baidu.com即為冒充。

鏈接提交

鏈接提交工具是網站主動向百度搜索推送數據的工具,網站使用鏈接提交可縮短爬蟲發現網站鏈接時間,目前鏈接提交工具支持四種方式提交:

  • 主動推送:是最為快速的提交方式,建議將站點當天新產出鏈接立即通過此方式推送給百度,以保證新鏈接可以及時被百度抓取;
  • Sitemap:網站可定期將網站鏈接放到Sitemap中,然后將Sitemap提交給百度。百度會周期性的抓取檢查提交的Sitemap,對其中的鏈接進行處理,但抓取速度慢于主動推送;
  • 手工提交:如果不想通過程序提交,那么可以采用此種方式,手動將鏈接提交給百度;
  • 自動推送:是輕量級鏈接提交組件,將自動推送的JS代碼放置在站點每一個頁面源代碼中,當頁面被訪問時,頁面鏈接會自動推送給百度,有利于新頁面更快被百度發現。

簡單來說:建議有新聞屬性站點,使用主動推送進行數據提交;新驗證平臺站點,或內容無時效性要求站點,可以使用Sitemap將網站全部內容使用Sitemap提交;技術能力弱,或網站內容較少的站點,可使用手工提交方式進行數據提交;最后,還可以使用插件方式,自動推送方式給百度提交數據。

網頁抓取

訪問速度

關于移動頁面的訪問速度,百度搜索資源平臺(原百度站長平臺)已于2017年10月推出過閃電算法,針對頁面首頁的打開速度給予策略支持。閃電算法中指出,移動搜索頁面首屏加載時間將影響搜索排名。移動網頁首屏加載時間在2秒之內的,在移動搜索下將獲得提升頁面評價優待,獲得流量傾斜;同時,在移動搜索頁面首屏加載非常慢(3秒及以上)的網頁將會被打壓。

對于頁面訪問速度的提速,這里也給到幾點建議:

資源加載:

  • 將同類型資源在服務器端壓縮合并,減少網絡請求次數和資源體積;
  • 引用通用資源,充分利用瀏覽器緩存;
  • 使用CDN加速,將用戶的請求定向到最合適的緩存服務器上;
  • 非首屏圖片類加載,將網絡帶寬留給首屏請求。

頁面渲染:

  • 將CSS樣式寫在頭部樣式表中,減少由CSS文件網絡請求造成的渲染阻塞;
  • 將JavaScript放到文檔末尾,或使用異步方式加載,避免JS執行阻塞渲染;
  • 對非文字元素(如圖片,視頻)指定寬高,避免瀏覽器重排重繪;

希望廣大站長持續關注頁面加載速度體驗,視網站自身情況,參照建議自行優化頁面,或使用通用的加速解決方案(如MIP),不斷優化頁面首屏加載時間。

了解MIP-移動網頁加速器可參考:https://www.mipengine.org/

返回碼

HTTP狀態碼是用以表示網頁服務器HTTP響應狀態的3位數字代碼。各位站長在平時維護網站過程中,可能會在站長工具后臺抓取異常里面或者服務器日志里看到各種各樣的響應狀態碼,有些甚至會影響網站的SEO效果,例如重點強調網頁404設置,百度搜索資源平臺(原百度站長平臺)中部分工具如死鏈提交,需要網站把內容死鏈后進行提交,這里要求設置必須是404。

下面為大家整理了一些常見的HTTP狀態碼:

301:(永久移動)請求的網頁已被永久移動到新位置。服務器返回此響應(作為對GET或HEAD請求的響應)時,會自動將請求者轉到新位置。

302:(臨時移動)服務器目前正從不同位置的網頁響應請求,但請求者應繼續使用原有位置來進行以后的請求。此代碼與響應GET和HEAD請求的301代碼類似,會自動將請求者轉到不同的位置。

這里強調301與302的區別:

301/302的關鍵區別在于:這個資源是否存在/有效;

301指資源還在,只是換了一個位置,返回的是新位置的內容;

302指資源暫時失效,返回的是一個臨時的代替頁(例如鏡像資源、首頁、404頁面)上。注意如果永久失效應當使用404。

有時站長認為百度對302不友好,可能是誤用了302處理仍然有效的資源;

400:(錯誤請求)服務器不理解請求的語法;

403:(已禁止)服務器已經理解請求,但是拒絕執行它;

404:(未找到)服務器找不到請求的網頁;

這里不得不提的一點,很多站長想自定義404頁面,需要做到確保蜘蛛訪問時返回狀態碼為404,若因為404頁面跳轉時設置不當,返回了200狀態碼,則容易被搜索引擎認為網站上出現了大量重復頁面,從而對網站評價造成影響;

500:(服務器內部錯誤)服務器遇到錯誤,無法完成請求;

502:(錯誤網關)服務器作為網關或代理,從上游服務器收到了無效的響應;

503:(服務不可用)目前無法使用服務器(由于超載或進行停機維護)。通常,這只是一種暫時的狀態;

504:(網關超時)服務器作為網關或代理,未及時從上游服務器接收請求。

3.1.3.3 robots

robots工具的詳細工具使用說明,細節參考4.3.4robots工具章節,關于robots的使用,僅強調以下兩點:

  • 百度蜘蛛目前在robots里是不支持中文的,故網站robots文件編寫不建議使用中文字符;
  • robots文件支持UrlEncode編碼這種寫法,如:http://www.test.cn/%E7%89%B9%E6%AE%8A:%E6%B5%8F%E8%A7%88/%E7%94%9F%E6%AD%BB%E7%8B%99%E5%87%BB:%E7%99%BD%E9%93%B6%E5%8A%A0%E7%89%B9%E6%9E%97

死鏈

當網站死鏈數據累積過多,并且被展示到搜索結果頁中,對網站本身的訪問體驗和用戶轉化都起到了負面影響。另一方面,百度檢查死鏈的流程也會為網站帶來額外負擔,影響網站其他正常頁面的抓取和索引。

百度搜索資源平臺推出死鏈提交工具,幫助網站提交死鏈數據,死鏈提交工具使用參考4.3.2死鏈提交工具。

什么是死鏈及死鏈的標準

頁面已經無效,無法對用戶提供任何有價值信息的頁面就是死鏈接,比較常見死鏈形式共有3種,協議死鏈和內容死鏈是比較常見兩種形式,除此之外還有跳轉死鏈。

  • 協議死鏈:頁面的TCP協議狀態/HTTP協議狀態明確表示的死鏈,常見的如404、403、503狀態等;
  • 內容死鏈:服務器返回狀態是正常的,但內容已經變更為不存在、已刪除或需要權限等與原內容無關的信息頁面;
  • 跳轉死鏈:指頁面內容已經失效,跳轉到報錯頁,首頁等行為。

訪問穩定性

訪問穩定性主要有以下幾個注意點:

DNS解析

DNS是域名解析服務器,關于DNS,這里建議中文網站盡可能使用國內大型服務商提供的DNS服務,以保證站點的穩定解析。

分享一個DNS穩定性的示例:

搜索資源平臺(原站長平臺)曾收到多個站長反饋,稱網站從百度網頁搜索消失,site發現網站數據為0。

經追查發現這些網站都使用國外某品牌的DNS服務器 *.DOMAINCONTROL.COM,此系列DNS服務器存在穩定性問題,百度蜘蛛經常解析不到IP,在百度蜘蛛看來,網站是死站點。此前也發現過多起小DNS服務商屏蔽百度蜘蛛解析請求或者國外DNS服務器不穩定的案例。因此這里建議網站,謹慎選擇DNS服務。

蜘蛛封禁

針對爬蟲的封禁會導致爬蟲認為網站不可正常訪問,進而采取對應的措施。爬蟲封禁其實分兩種,一種就是傳統的robots封禁,另一種是需要技術人員配合的IP封禁和UA封禁;而絕大多數情況下的封禁都是一些操作不當導致的誤封禁,然后在搜索引擎上的反應就是爬蟲不能正常訪問。所以針對爬蟲封禁的操作一定要慎重,即使因為訪問壓力問題要臨時封禁,也要盡快做恢復處理。

服務器負載

拋開服務器硬件問題(不可避免),絕大多數引起服務器負載過高的情況是軟件程序引起的,如程序有內存泄露,程序出core,不合理混布服務(其中一個服務消耗服務器資源過大引起服務器負載增大,影響了服務器對爬蟲訪問請求的響應。)對于提供服務的機器一定要注意服務器的負載,留足夠的buffer保證服務器具有一定的抗壓能力。

其他人為因素

人為操作不當引起訪問異常的情況是經常見到的,針對這種情況需要嚴格的制度約束,不同站點情況不一樣。需要保證每一次的升級或者操作要準確無誤。

可訪問鏈接總量

資源可窮盡

一般來說網站的內容頁面是可窮盡的,萬級別,百萬級別甚至億級別,但一定是可窮盡的。而現實中確實存在這樣一些網站,爬蟲針對這些網站進行抓取提鏈時會陷入"鏈接黑洞";通俗的講就是網站給爬蟲呈現的鏈接不可窮盡;典型的是部分網站的搜索結果頁,不同的query在不同anchor下的a標簽鏈接不一樣就導致了"鏈接黑洞"的產生,所以嚴禁URL的生成跟用戶的訪問行為或者搜索詞等因素綁定。

頁面解析

頁面解析,主要指網站頁面被蜘蛛抓取,會對頁面進行分析識別,稱之為頁面解析。頁面解析對網站至關重要,網站內容被抓取是網站被發現的第一步,而頁面解析,則是網站內容被識別出來的重要一環,頁面解析效果直接影響搜索引擎對網站的評價。

頁面元素

頁面標題

關于網頁標題,百度搜索于2017年9月推出清風算法,重點打擊網站標題作弊,引導用戶點擊,損害用戶體驗的行為;清風算法重點打擊的標題作弊情況有以下兩種:

  • 文不對題,網站標題與正文有明顯不符合,誤導搜索用戶點擊,對搜索用戶造成傷害;
  • 大量堆砌,網站標題中出現大量堆砌關鍵詞的情況也十分不提倡,

關于網站標題作弊的詳細解讀,參考搜索學院發布官方文檔《百度搜索內容質量白皮書——網頁標題作弊詳解》。

關于網站TDK,有以下幾種情況需要注意:("T"代表頁頭中的title元素,"D"代表頁頭中的description元素,"K"代表頁頭中的keywords元素,簡單指網站的標題、描述和摘要);

  • √百度未承諾嚴格按照title和description的內容展示標題和摘要,尤其是摘要,會根據用戶檢索的關鍵詞,自動匹配展示合適的摘要內容,讓用戶了解網頁的主要內容,影響用戶的行為決策;
  • √ 站長會發現同一條鏈接的摘要在不同關鍵詞下是變化的,可能不會完全符合站長預期,尤其是站長在檢索框進行site語法操作時,可能會感覺摘要都比較差。但請不要擔心,畢竟絕大多數普通網民不會這樣操作。在此情況下出現不符合預期的摘要并不代表站點被懲罰;
  • √ 還有一種情況,是網頁中的HTML代碼有誤,導致百度無法解析出摘要,所以有時大家會看到某些結果的摘要是亂碼(當然這種情況很少見),所以也請站長注意代碼規范。

主體內容

主體內容注意兩個點,一個主體內容過長(通常網頁源碼長度不能超過128k),文章過長可能會引起抓取截斷;另外一個是注意內容不能空短,空短內容也會被判斷為無價值內容。

以下分析兩個示例:

關于主體內容過長的示例分析:

某網站主體內容都是JS生成,針對用戶訪問,沒有做優化;但是網站特針對爬蟲抓取做了優化,直接將圖片進行base64編碼推送給百度,然而優化后發現內容沒有被百度展示出來;

頁面質量很好,還特意針對爬蟲做了優化,為什么內容反而無法出現在百度搜索中;

分析主要有以下原因:

  • √ 網站針對爬蟲爬取做的優化,是直接將圖片base64編碼后放到HTML中,導致頁面長度過長,網站頁面長度達164k;
  • √ 站點優化后將主體內容放于最后,圖片卻放于前面;
  • √ 爬蟲抓取內容后,頁面內容過長被截斷,已抓取部分無法識別到主體內容,最終導致頁面被認定為空短而不建索引。

這樣的情況給到以下建議:

  • √ 如站點針對爬蟲爬取做優化,建議網站源碼長度在128k之內,不要過長;
  • √ 針對爬蟲爬取做優化,請將主體內容放于前方,避免抓取截斷造成的內容抓取不全。

關于內容空短的示例分析:

某網站反饋網站內容未被建索引,分析發現,網站抓取沒有問題,但被抓取到的頁面,都提示需要輸入驗證碼才能查看全部頁面,這類頁面被判斷為空短頁面,這類頁面在抓取后,會被判定為垃圾內容。

而且當蜘蛛對一個網站抓取后發現大面積都是低值的空短頁面時,爬蟲會認為這個站點的整體價值比較低,那么在后面的抓取流量分布上會降低,導致針對該站點的頁面更新會比較慢,進而抓取甚至建索引庫也會比較慢。

大面積都是低值的空短頁面

為什么會出現網站內容空短這種情況,其中一個原因是網站內容未全部搭建完成,未對外開放,但已被蜘蛛爬取發現。針對這種情況,建議網站在邀請測試階段使用robots封禁。

另外還會有些網站,設置用戶查看權限,如需用戶登陸才能查看全部內容,這樣的行為對搜索引擎也極不友好,蜘蛛無法模擬用戶登陸,僅能抓取網站已展示頁面,可能會導致抓取頁面為空短的現象。

這里再次強調,不要讓爬蟲給站點畫上不優質的標簽,對網站將產生很不好的影響。另外,移動端的H5頁面,很多都是采用JS方式加載,其實是更容易產生空短,請各位站長注意。

網頁發布時間

關于網頁發布時間,有以下幾點建議:

  • √ 網頁內容盡可能加上產出時間,嚴格說是內容發布時間;且時間盡量全,時間格式為年-月-日 時:分:秒;

例:2017-08-12 10:23:06

  • √ 網頁上切忌亂加時間,這樣容易造成頁面時間提取問題,或搜索引擎判斷提取時間不可信,從而降低對網頁的展現。

canonical標簽

canonical標簽的目的

在PC互聯網時代,canonical標簽的作用主要是用來解決由于網址形式不同內容相同而造成的內容重復問題。而在移動時代,canonical標簽被百度搜索賦予了更多的意義,在原來的作用基礎上,又起到了相同內容的移動頁和PC頁之間的關聯作用;讓移動資源更容易繼承PC資源的各種特征,從而快速生效移動網頁數據。

canonical標簽如何設置

在HTML代碼的head里添加rel="canonical",不能添加多個,否則搜索引擎會認為是無效的canonical標簽。另外需要注意href里的地址不能是死鏈,錯誤頁或者被robots封禁的頁面。

具體示例如下:

<link rel="canonical" href="http://example.test.com/recipe41644.html">

落地頁體驗

為提升移動搜索整體用戶體驗,提升搜索滿意度,百度搜索在2017年推出《百度移動搜索落地頁體驗白皮書——廣告篇2.0》(以下簡稱廣告白皮書)。廣告白皮書對網站移動落地頁頁面廣告內容、廣告位置、大小等做了明確要求,從而充分保證搜索用戶的瀏覽體驗。

白皮書詳情,請參考搜索學院官方文檔《百度移動搜索落地頁體驗白皮書——廣告篇2.0

頁面價值

內容價值

原創文章,要求是獨立完成的創作,且沒有歪曲、篡改他人創作或者抄襲、剽竊他人創作而產生的作品,對于改編、注釋、整理他人已有創作而產生的作品要求有充分的點評、補充等增益信息。

建議原創文章在標題下方明確注明“來源:xxxx(本站站點名)”或“本站原創”之類字樣,轉載文章明確注明“來源:xxxx(轉載來源站點名)”之類字樣,不建議使用“admin”、“webmaster”、“佚名”等模糊的說法。

外鏈建設

通常認為,外鏈是本站點對第三方站點頁面的鏈接指向,是本站點對第三方站點頁面內容的一種認可和推薦。

站點進行外鏈建設時,建議是有真實推薦意圖,并且指向那些熟悉的、被認可的、內容相關的外部頁面;不建議推薦與本站點頁面內容無關的外鏈內容。也不建議亂推薦外鏈、交換外鏈互聯、指向作弊站的行為(這些很可能被超鏈策略反向識別成垃圾作弊站點進行打壓)。

最后,站長要及時發現和處理站點被黑的頁面。頁面被黑掉后,一般會被人為放入大量無關的,甚至作弊的外鏈在該頁面上,其目的是要瓜分站點自身權重,并以此來提高外鏈目標站點影響力。建議站長發現后,及時向搜索資源平臺(原站長平臺)提交死鏈進行刪除和屏蔽,不及時處理一定程度上會影響站點本身的權重。最好從技術上優化,提高站點安全壁壘,防范于未然。

內鏈建設

內鏈,描述了站點的結構,一般起到頁面內容組織和站內引導的作用;內鏈的重要意思是通過鏈接指向,告訴搜索引擎哪個頁面最為重要。

內鏈組織的時候,建議結構清晰,不要過于冗雜,另外內鏈組織的版式建議保持一致,這樣對搜索引擎超鏈分析比較友好。

與外鏈類似,建議站長善于使用nofollow標簽,既對搜索引擎友好,又可避免因垃圾link影響到站點本身的權重。

anchor

anchor描述:盡可能使用典型的,有真實意義的anchor。anchor描述要與超鏈接的頁面內容大致相符,避免高頻無意義anchor的使用,另外同一個URL的anchor描述種類不宜過多,anchor分布越稀疏會影響搜索排名。

百度專屬SEO工具

百度搜索資源平臺(原百度站長平臺)介紹

百度搜索資源平臺(原百度站長平臺)是全球最大的面向中文互聯網管理者、移動開發者、創業者的搜索流量管理的官方平臺。提供有助于搜索引擎數據查詢及優化的工具、SEO建議、多端適配服務的能力等。

百度搜索資源平臺(原百度站長平臺)域名地址:http://ziyuan.baidu.com/

查詢工具

索引量工具

網站的索引量指該網站在百度搜索上,可以被用戶搜索到的鏈接總量。百度蜘蛛通過抓取發現網站內容,進行頁面解析,對有價值內容建立索引庫,最終使搜索用戶可以搜索到網站內容。

網站被百度蜘蛛抓取后,經過一系列計算才得以建入索引庫,有了和搜索用戶見面的機會。所以,索引量一直是站長們關注的焦點,但關于索引量工具有一些誤讀,這里給到正確解答:

  • √ 索引量不等于網站流量:索引庫分多個層級,進入上層索引庫才有更多與搜索用戶見面的機會;進入下層庫機會渺茫。所以,索引量總體的增加減少并不能說明流量會有什么變化;
  • √ 索引量變化不直接影響流量變化:當流量發生巨大變化時,索引量數據可以作為排查原因的渠道之一,但不是唯一排查渠道,索引量變化并不直接影響流量變化;
  • √ 索引量浮動情況,索引量上下浮動10%(經驗值),甚至更多,都可能屬于正常。只要流量變化不大就不用緊張。

流量與關鍵詞工具

流量與關鍵詞工具提供站點的熱門關鍵詞在百度搜索結果中的展現及點擊量數據,通過對關鍵詞表現情況的監控,幫助網站更好進行優化,流量與關鍵詞工具可全面幫助站長了解網站在百度搜索引擎中的表現,決定頁面及網站的優化方向,為網站運營決策提供分析依據。

關于流量與關鍵詞工具,還有一點需要強調,如果站長需要在反饋中心中提交關于網站流量異常的情況,請使用此工具的數據、及數據截圖作為證據,便于工作人員分析網站問題。

抓取頻次工具

什么是抓取頻次

抓取頻次是搜索引擎在單位時間內(天級)對網站服務器抓取的總次數,如果搜索引擎對站點的抓取頻次過高,很有可能造成服務器不穩定,百度蜘蛛會根據網站內容更新頻率和服務器壓力等因素自動調整抓取頻次。

什么情況下可以進行抓取頻次上限調整:

首先,百度蜘蛛會根據網站服務器壓力自動進行抓取頻次調整;

其次,如果百度蜘蛛的抓取影響了網站穩定性,站長可以通過此工具調節百度蜘蛛每天抓取網站的頻次上限。

強調1:調整抓取頻次上限不等于調高抓取頻次;

強調2:建議站長慎重調節抓取頻次上限值,如果抓取頻次過小則會影響百度蜘蛛對網站的及時抓取,從而影響索引。

抓取診斷工具

什么是抓取診斷

抓取診斷工具,可以讓站長從百度蜘蛛的視角查看抓取內容,自助診斷百度蜘蛛看到的內容,和預期是否一致。每個站點每周可使用200次,抓取結果只展現百度蜘蛛可見的前200KB內容。

抓取診斷工具能做什么

目前抓取診斷工具有如下作用:

√ 診斷抓取內容是否符合預期,譬如很多商品詳情頁面,價格信息是通過JavaScript輸出的,對百度蜘蛛不友好,價格信息較難在搜索中應用。問題修正后,可用診斷工具再次抓取檢驗;

診斷工具

√ 診斷網頁是否被加了黒鏈、隱藏文本。網站如果被黑,可能被加上隱藏的鏈接,這些鏈可能只在百度抓取時才出現,需要用此抓取工具診斷。

抓取異常工具

什么是抓取異常

百度蜘蛛無法正常抓取,就是抓取異常。通常網站出現抓取異常,都是網站自身原因造成,需要網站根據工具提示,盡快自查網站問題并解決。

抓取異常對網站有哪些影響

對于大量內容無法正常抓取的網站,搜索引擎會認為網站存在用戶體驗上的缺陷,并降低對網站的評價,在抓取、索引、搜索評價上都會受到一定程度的負面影響,最終影響到網站從百度獲取的流量。

抓取異常的原因有哪些

● 網站異常

  • √ DNS異常:當百度蜘蛛無法解析網站的IP時,會出現DNS異常。可能是網站IP地址錯誤,或者域名服務商把百度蜘蛛封禁。請使用whois或者host查詢自己網站IP地址是否正確且可解析,如果不正確或無法解析,請與域名注冊商聯系,更新網站IP地址;
  • √ 連接超時:抓取請求連接超時,可能原因服務器過載,網絡不穩定;
  • √ 抓取超時:抓取請求連接建立后,下載頁面速度過慢,導致超時,可能原因服務器過載,帶寬不足;
  • √ 連接錯誤:無法連接或者連接建立后對方服務器拒絕。

● 鏈接異常

  • √ 訪問被拒絕:爬蟲發起抓取,httpcode返回碼是403;
  • √ 找不到頁面:爬蟲發起抓取,httpcode返回碼是404;
  • √ 服務器錯誤:爬蟲發起抓取,httpcode返回碼是5XX;
  • √ 其他錯誤:爬蟲發起抓取,httpcode返回碼是4XX,不包括403和404。

提交工具

鏈接提交工具

目前一共有4種提交方式,分別是主動推送、Sitemap、手工提交和自動推送,這四種推送方式的區別,請看下圖:

建議有新聞屬性站點,使用主動推送進行數據提交;新驗證平臺站點,或內容無時效性要求站點,可以使用Sitemap將網站全部內容使用Sitemap提交;技術能力弱,或網站內容較少的站點,可使用手工提交方式進行數據提交;最后,還可以使用插件方式,自動推送方式給百度提交數據。

鏈接提交工具

使用鏈接提交工具,還需要注意的是,部分網站會采用第三方插件推送數據,插件推送方式需要站長仔細檢查推送邏輯,之前發生過站長使用第三方插件推送數據,而第三方插件采用域名+標題進行推送,這樣導致推送給百度的URL中存在中文字符,帶有中文字符的URL會301跳轉到真實的URL上,出現此類情況,是無法享受快速抓取優待的。

鏈接提交工具可以快速幫助站點實現內容抓取,使用第三方插件可以快速幫助站長解決推送的問題,站長只需在選擇插件時,仔細檢查下插件數據邏輯,否則推送錯誤數據,網站數據無法享受快速抓取優待。

死鏈提交工具

為什么要使用死鏈工具

當網站死鏈數據累積過多時,并且被展示到搜索結果頁中,對網站本身的訪問體驗和用戶轉化都起到了負面影響。另一方面,百度檢查死鏈的流程也會為網站帶來額外負擔,影響網站其他正常頁面的抓取和索引。

注意事項:

  • √ 請推送協議死鏈數據,死鏈工具僅支持協議死鏈數據;
  • √ 提交死鏈被刪除后,網站可以刪除已提交的死鏈文件,否則搜索仍會繼續抓取死鏈文件,確認文件中內容。

什么是死鏈規則提交?

死鏈規則是鏈接前綴,且匹配前綴的鏈接全部是死鏈。

目前支持兩種死鏈規則:

  • √ 目錄規則:以“/”結尾的前綴;
  • √ CGI規則:以“?”結尾的前綴。

什么是死鏈文件提交?

  • √ 站長需要提交已被百度建索引的、且需要刪除的鏈接,如鏈接在百度搜索不到,則可以不提交死鏈;
  • √ 需要刪除的鏈接需要全部設置為404,如發現有鏈接非死鏈,會導致文件校驗失敗,從而無法刪除死鏈;
  • √ 如死鏈文件抓取失敗,可以通過抓取診斷工具判斷死鏈文件是否可以正常抓取;
  • √ 站長提交死鏈后,請不要在robots中封禁百度蜘蛛,封禁百度蜘蛛會影響鏈接的正常刪除;
  • √ 如果需要刪除的鏈接已經被刪除,請及時的刪除掉死鏈文件;
  • √ 提交死鏈工具,最長需要2-3天生效死鏈。如站長發現鏈接未被刪除,一周后可以重新提交。

規則提交:

  • √ 規則死鏈不支持通配符;
  • √ 規則死鏈必須是以?或者 /結尾的規則。

關于死鏈提交的常見問題

  • √ 網站死鏈數據,除了使用死鏈提交工具,還可以使用robots屏蔽百度抓取,百度將根據robots文件中的規則,不再抓取該內容,如果該內容線上已經展現,將會進行屏蔽;
  • √ 已經提交死鏈的文件,蜘蛛仍會繼續抓取,檢查文件中是否有更新的鏈接;如抓到更新的鏈接,將再次校驗網站;如死鏈提交已生效,且此文件后續將不再更新,可以直接在工具中將文件刪除;
  • √ 搜索資源平臺(原站長平臺)中的鏈接分析工具,有死鏈分析功能,可以幫助網站發現站內死鏈。

移動適配工具

什么是移動適配,移動適配工具的作用

移動適配工具主要用于,如果網站同時擁有PC站和移動站,且二者能夠在內容上對應,即主體內容完全相同,網站可以通過移動適配工具進行對應關系,便于百度來識別PC和移動站之間的關系。

站長通過移動適配工具提交pattern級別或者URL級別的PC頁與手機頁對應關系,若可以成功通過校驗,將有助于百度移動搜索將移動用戶直接送入對應的手機頁結果。積極參與“移動適配”,將有助于的手機站在百度移動搜索獲得更多流量,同時以更佳的瀏覽效果贏取用戶口碑。

移動適配工具如何使用

當網站同時擁有移動站點和PC站點、且移動頁面和PC頁面的主體內容完全相同,就可以在通過百度搜索資源平臺(原百度站長平臺)提交正確的適配關系,獲取更多移動流量。

第一步:注冊并登錄百度搜索資源平臺(原百度站長平臺);

第二步:提交PC網站并驗證站點與ID的歸屬關系,具體驗證網站歸屬方法可見幫助文檔;

第三步:站點驗證后,進入“網站支持”――“數據引入”――“移動適配工具”,選擇具體需要進行移動適配的PC站,然后“添加適配關系”;

第四步:根據自己提交的適配數據特點,選擇適合網站的提交方式。目前移動適配工具支持規則適配提交URL適配提交,無論使用哪種方式都需要先指定PC與移動站點,此舉可以令平臺更加快速地檢驗提交的數據、給出反饋,順利生效。同時在之后步驟中提交的適配數據中必須包含指定的站點,否則會導致校驗失敗;

1)規則適配:當PC地址和移動地址存在規則(pattern)的匹配關系時(如PC頁面www.test.com/picture/12345.html,移動頁面m.test.com/picture/12345.html),可以使用規則適配,添加PC和移動的正則表達式,正則的書寫方式詳見工具頁面《正則格式說明》。強烈建議使用規則適配,一次提交成功生效后,對于新增同規則的URL可持續生效,不必再進行多次提交。同時該方式處理周期相對URL適配更短,且易于維護和問題排查,是百度推薦使用的提交方式。

2)URL適配:當規則適配不能滿足適配關系的表達時,可以通過“URL對文件上傳”功能,將主體內容相同的PC鏈接和移動鏈接提交給百度:文件格式為每行前后兩個URL,分別是PC鏈接和移動鏈接,中間用空格分隔,一個文件最多可以提交5萬對URL,可以提交多個文件。另外網站還可以選擇“URL對批量提交”,在輸入框中直接輸入URL對,格式與文件相同,但此處一次性僅限提交2000對URL。

第五步:提交適配數據后,關注移動適配工具會提供狀態說明,若未適配成功,可根據說明文字和示例進行相應的調整后更新提交適配數據。

robots

什么是robots文件

robots是站點與蜘蛛溝通的重要渠道,站點通過robots文件聲明該網站中不想被搜索引擎抓取的部分或者指定搜索引擎只抓取特定的部分。

請注意,僅當網站包含不希望被搜索引擎抓取的內容時,才需要使用robots.txt文件。如果希望搜索引擎抓取網站上所有內容,請勿建立robots.txt文件。之前發現很多流量下降的網站示例,最后追查都是因為技術人員通過robots對搜索引擎加了封禁。

為了避免站長在設置robots文件時出現錯誤,百度搜索資源平臺(原百度站長平臺)特別推出了robots工具,幫助站長正確設置robots。

robots.txt文件的格式

robots文件往往放置于根目錄下,包含一條或更多的記錄,這些記錄通過空行分開(以CR,CR/NL, or NL作為結束符),每一條記錄的格式如下所示:

"<field>:<optional space><value><optionalspace>"

在該文件中可以使用#進行注解,具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始,后面加上若干Disallow和Allow行,詳細情況如下:

User-agent:該項的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多條User-agent記錄說明有多個robot會受到"robots.txt"的限制,對該文件來說,至少要有一條User-agent記錄。如果該項的值設為*,則對任何robot均有效,在"robots.txt"文件中,"User-agent:*"這樣的記錄只能有一條。如果在"robots.txt"文件中,加入"User-agent:SomeBot"和若干Disallow、Allow行,那么名為"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

Disallow:該項的值用于描述不希望被訪問的一組URL,這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以Disallow項的值開頭的URL不會被 robot訪問。例如"Disallow:/help"禁止robot訪問/help.html、/helpabc.html、/help/index.html,而"Disallow:/help/"則允許robot訪問/help.html、/helpabc.html,不能訪問/help/index.html。"Disallow:"說明允許robot訪問該網站的所有URL,在"/robots.txt"文件中,至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件,則對于所有的搜索引擎robot,該網站都是開放的。

Allow:該項的值用于描述希望被訪問的一組URL,與Disallow項相似,這個值可以是一條完整的路徑,也可以是路徑的前綴,以Allow項的值開頭的URL 是允許robot訪問的。例如"Allow:/hibaidu"允許robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網站的所有URL默認是Allow的,所以Allow通常與Disallow搭配使用,實現允許訪問一部分網頁同時禁止訪問其它所有URL的功能。

使用"*"and"$":百度蜘蛛支持使用通配符"*"和"$"來模糊匹配URL。

"*" 匹配0或多個任意字符。

"$" 匹配行結束符。

最后需要說明的是:百度會嚴格遵守robots的相關協議,請注意區分網站不想被抓取或抓取的目錄的大小寫,百度會對robots中所寫的文件和網站不想被抓取和抓取的目錄做精確匹配,否則robots協議無法生效。

搜索展現工具

站點logo百度搜索資源平臺(原百度站長平臺)推出的免費類工具,可以給到網站品牌曝光、展示。站點logo是百度搜索根據網站評價、用戶需求度、用戶瀏覽軌跡等系統分析產出的效果,因此這個工具并不是所有站點都享有權限。

站點logo

站點申請百度搜索下的logo展示,可以通過搜索資源平臺(原百度站長平臺)——站點屬性——站點logo中進行提交,此工具為免費展示類工具。

下圖為站點logo的截圖示例:

logo的截圖

維護類工具

網站改版工具

當一個站點的域名或者目錄發生變化時,如果想讓百度快速收錄變化之后的新鏈接、用以替換之前的舊鏈接,需要使用百度搜索資源平臺(原百度站長平臺)的網站改版工具來提交網站的改版關系,加速百度對已收錄鏈接的新舊替換。網站換域名對網站的影響,可以參考5.1章節網站換域名。

使用改版工具提交改版規則的前提:

  • √ 站點的URL發生了變化,不論是域名還是站點的目錄,或者結果頁URL發生變化,改版工具都提供支持,這里單獨說一點,頁面內容發生變化的不在改版工具處理的范圍內;
  • √ 如果站點URL的路徑和參數部分都沒有變化,僅僅是域名改變的,只需要知道每個改版前域名和改版后域名的對應關系,不要有整理遺漏,目前平臺不支持主域級別的改版規則提交,需要每個域名都單獨提交生效;
  • √ 如果站點URL的路徑和參數部分發生變化,但是路徑和參數都是有規律可尋的,可以通過規則表達式來整理改版前和改版后的URL對應關系;
  • √ 如果站點的URL改變沒有任何規律的情況,需要準確整理出改版前URL和改版后URL的對應關系。

站長要準確的找到對應關系,這與改版規則的生效息息相關。有了準確的對應關系后,就可以設置301跳轉了。

閉站保護工具

由網站自身原因(改版、暫停服務等)、客觀原因(服務器故障、政策影響等)造成的網站較長一段時間都無法正常訪問,百度搜索引擎會認為該站屬于關閉狀態。站長可以通過閉站保護工具進行提交申請,申請通過后,百度搜索引擎會暫時保留索引、暫停抓取站點、暫停其在搜索結果中的展現。待網站恢復正常后,站長可通過閉站保護工具申請恢復,申請審核通過后,百度搜索引擎會恢復對站點的抓取和展現,站點的評價得分不會受到影響。

閉站保護工具的重要tip如下:

  • √ 申請閉站需要保證全站鏈接都是死鏈或直接關閉服務器,申請恢復是需要保證網站服務器已經啟動并沒有死鏈。為了盡快進行閉站保護/解除閉站保護,保障自身權益,請確保以上條件沒問題之后再提交申請(校驗很嚴格,抽樣的內容基本需要是100%);
  • √ 閉站保護申請、死鏈提交等工具,提到的設置死鏈,都必須是協議死鏈,即返回碼是404,否則會導致無法通過校驗。

● 內容死鏈,比如單純的在網頁上寫上404,或一張圖片上畫著404,是不行的。

● 判斷自己網頁返回碼是否是404,瀏覽器里可以直接打開控制臺,查看network的doc,刷新頁面。

network

●?或者可以控制臺使用命令:curl -i 網頁地址 。

●?查返回的信息。

返回的信息

閉站保護只能保證網站的索引量,不能保證網站的排名。之前有站點反饋閉站保護不好用,因為閉站恢復后網站排名沒有了,這里再次強調一下,使用閉站工具只能保留網站的索引量,但不保證網站的排名不變。

關于閉站保護常見的問題:

  • √ 閉站保護的通過時間是從提交申請到生效一天內;
  • √ 閉站保護申請恢復,是站點沒有任何404頁面等情況下,2天內恢復;
  • √ 閉站保護生效之后,首頁不會屏蔽,如有網站首頁屏蔽需求,可以在搜索資源平臺反饋中心提交;
  • √ 閉站保護最長保護時間是180天,過了180天之后的自動放出,如站點有404頁面
  • √ 仍會正常屏蔽處理;
  • √ 主站申請了閉站保護后,對應移動站也是需要申請閉站保護的;即使存在適配關系,也只能屏蔽在適配關系中的移動鏈接,其余不在適配關系中的鏈接,比如直接被抓取的鏈接,仍無法屏蔽。

HTTPS認證工具

使用HTTPS認證工具的收益:

網站通過HTTPS認證后,站點在百度搜索的所有快照都會變成HTTPS格式,蜘蛛也會優先抓取HTTPS的鏈接,讓用戶在搜索中獲得更安全的鏈接。

網站使用HTTPS認證工具的注意事項:

  • √ 保證HTTPS站點正常訪問,且頁面內引入資源為HTTPS格式,包括引入的視頻、圖片、CSS、JS等元素;如果網站沒有全站HTTPS,申請百度搜索資源平臺(原站長平臺)HTTPS認知是不會通過的,但是如果系統沒有檢測到這個情況而通過驗證的話,會導致沒改造的這部分頁面產生死鏈,所以認證前一定要檢測好;
  • √ 如果站點存在HTTP和HTTPS兩種協議的頁面,必須將HTTP的URL 301到HTTPS的URL上,僅有HTTPS站點的可以直接認證;
  • √ 必須保證HTTP站點與HTTPS的鏈接一一對應,沒有HTTPS對應的HTTP鏈接可能會被判斷成死鏈接。
  • 關于網站做HTTPS回退的注意事項:
  • √ 站點通過認證后,只需要點擊退場按鈕(在搜索資源平臺驗證的網站擁有者),就可以退回到HTTP站點了;
  • √ 需要強調的是,點擊回退按鈕后,要等到顯示回退成功了再做其他操作,否則有可能導致網站產生死鏈接。

HTTPS回退

網站常見問題專題

網站換域名

網站換域名的定義

網站換域名,包括從一個二級域更換到一個新的二級域,或者網站域名整體發生改變,都視為網站換域名。如ent.test.com的內容,要整體換域名到news.test.com;或者網站www.test.com要換域名為www.123.com,以上兩種情況都視為換域名。

注意以下幾點,輕松應對網站換域名:

  • √ 換域名后,建議兩個域名同時保存一段時間;
  • √ 網站換域名后,需要把兩個網站內容做好301的跳轉,強調一點,需要做到正文頁對正文頁一一對應的跳轉,而不是將舊域名內容全部跳轉到新域名的首頁;
  • √ 網站換域名后,需使用改版工具,在搜索資源平臺(原站長平臺)提交數據,便于搜索識別新舊域名之間關聯;
  • √ 建議網站選擇在用戶訪問網站較少的時間段換域名,如長假期間等。

換域名對網站的影響

網站換域名需要網站做好301,且使用搜索資源平臺(原站長平臺)的改版工具,能保證網站的流量損失降到最低;但搜索資源平臺(原站長平臺)的部分權益是與網站域名綁定,換域名的對網站的注意事項,請關注以下幾點:

  • √ 總體來說網站換域名會影響網站排名,不推薦更換域名。若品牌需要等原因,必須換域名,建議做好301跳轉規則后,在平臺工具提交改版規則和死鏈處理;
  • √ 網站從目錄級更換為二級域名,如之前為www.baidu.com/news/,需更新為news.baidu.com,這類現象通用視為換域名;同樣需要需要在平臺工具提交改版規則和做好301;
  • √ 網站頁面結構改版,僅是頁面樣式發生變化,不會對排名有影響;無需使用改版工具;
  • √ 強烈建議不要把所有舊域名頁面301到新域名首頁,建議做新舊域名之間正文頁對正文頁的301;
  • √ 網站換域名后,搜索資源平臺(原站長平臺)的VIP權限,站點logo、站點子鏈不會同步到新域名中,需要網站單獨申請。

網站流量異常

網站流量異常是站長最擔心的問題之一,網站發生流量異常,建議網站先做好站點自查,盡快發現并排除網站自身原因造成的流量波動情況;另外,如網站的索引量數據發生大幅下降,可自查網站是否存在大量過期/無索引內容,如索引量大幅波動,但流量無明顯變化,可隨時觀察網站數據,無須在搜索資源平臺(原站長平臺)進行問題反饋。

網站流量異常自查

網站流量異常,應該首先進行全網自查,自查包括以下幾個要點:

  • √ 是否屏蔽百度抓取,如百度UA,設定了robots等,屏蔽百度抓取將對網站流量造成巨大影響;
  • √ 網站服務器是否穩定,可以使用百度搜索資源平臺,抓取異常及抓取診斷工具,模擬搜索蜘蛛對網站進行抓取,便于及時發現網站問題;
  • √ 網站是否被黑,被劫持,出現網站不安全的行為;
  • √ 網站是否存在大量死鏈,部分網站在改版等過程中,會出現大量死鏈,死鏈的大量存在,會對網站評價造成影響;
  • √ 如網站流量異常來自移動端,需要網站自查移動端落地頁體驗,是否存在網站被轉碼&濾鏡的可能性,盡快整改,避免流量損失。

流量異常反饋

網站流量異常,如自查網站并無以上問題,可以通過百度搜索資源平臺(原百度站長平臺)-反饋中心進行問題提交;反饋中心的問題提交,需要網站具備以下幾點:

  • √ 數據證明,需要截圖搜索資源平臺(原站長平臺)-流量與關鍵詞工具的數據截圖作為證明,不提倡使用第三方工具截圖;
  • √ 關鍵詞下降證明,需提供網站流量下降明顯的關鍵詞,及關鍵詞對應的URL 10組,便于工作人員查詢問題;
  • √ 如網站索引量大幅下降,而網站流量變化不大,可仔細觀察網站情況,不需要在反饋中心進行提交。

HTTPS改造

關于網站是否HTTPS化,要看站點具體需求;從網站安全和用戶體驗上來講,HTTPS站點更為安全優質,且百度搜索在索引的時候會考慮優先展現用戶體驗較好的頁面;總體來講,如果條件允許建議網站做HTTPS。

有站長提到HTTPS慢不慢的問題,繁重的計算和多次交互天然的影響了HTTPS的訪問速度,所以需要網站有針對性的做站的優化,關于網頁訪問速度的問題,可以詳細參考3.1.3.1訪問速度章節。

全站HTTPS的注意事項

  • √ 建議站長從HTTP到HTTPS的301/302跳轉,不建議只有HTTPS,而無HTTP到HTTPS的跳轉關系,只用HTTPS訪問對用戶來說,可能會遇到問題;
  • √ 不建議HTTPS、HTTP這兩種版本并存,這種情況存在三種問題,第一個它的維護成本比較高,需要維護兩個版本;第二個做不到絕對安全,HTTP訪問有不安全風險;第三有不一致的可能性,隨著長遠的發展這兩個版本可能會越來越不一致,會影響用戶體驗,我們建議站長做了HTTPS之后能對HTTPS做一定的跳轉預設;
  • √ HTTPS回退到HTTP極不建議。例如線上已經展示HTTPS的鏈接給用戶點擊,如果站長回退到HTTP,用戶在瀏覽器里面點開的時候會展現死鏈的樣式是非常不建議的,做這個之前一定考慮。如果實在想做回退,請在百度搜索資源平臺(原站長平臺)提交HTTPS校驗,并建議站點提前至少24小時在平臺提交回退,這樣能夠保證站長的點擊不會出現死鏈的形式,這點非常重要;
  • √ HTTPS網頁沒有建設完成之前不要在互聯網上提供超鏈接,之前遇到過好幾個case,本身HTTPS并沒有做完,兩個版本都存在,但是HTTP是用戶可訪問的,或者說HTTPS的頁面是一個臨時性的假頁面,這樣站點有可能就以HTTPS的形式展現出來,會引起用戶體驗問題。

HTTTPS認證工具

網站進行HTTPS改造后,為保證百度搜索可以快速識別HTTP和HTTPS站點間對應關系,且盡快進行搜索展示端資源替換,建議站點使用HTTPS認證工具。

HTTPS認證工具使用,可參考4.5.3HTTPS認證工具章節。

網站關閉服務器

如網站短期內關閉服務器,舉例來說,網站僅在一天之內關閉服務器,可不用使用閉站保護工具;如網站需要長時間關閉網站,建議使用閉站保護工具,可反饋蜘蛛閉站期間無需抓取,保護網站評價不受損害。

網站如長時間需要關閉網站服務器,推薦使用閉站保護工具,可參考4.5.2閉站保護工具章節,仍有一點需要注意,閉站保護工具生效后,網站首頁不會被屏蔽,如網站有首頁屏蔽的需求,需要單獨在搜索資源平臺反饋中提交。

新站扶持

新站點三步走

新站搭建成功后,應該做些什么,能得到搜索資源平臺(原站長平臺)哪些優待呢?新站入駐,先來三步走:

第一步:站點驗證,在搜索資源平臺(原站長平臺)驗證網站后,可以了解網站在搜索的數據表現,以及使用平臺工具向百度提交數據等;

第二步:向百度提交數據,網站可以通過鏈接提交工具-Sitemap,將站點數據打包提交給百度,便于百度更快發現網站;

第三步:新站保護,符合新站保護目標站點,則會在鏈接提交工具中發現隱藏板塊-新站保護工具,使用此工具向百度提交數據,可更好的保證網站內容被百度抓取到。

新站保護工具

百度搜索資源平臺(原百度站長平臺)2017年9月份上線新站保護工具,此工具針對索引量極低的網站開放,且僅符合要求的網站可以在百度搜索資源平臺(原百度站長平臺)工具中看到此工具。關于新站保護工具的一些常見問題,可以通過以下得到解答:

符合新站保護要求的網站,需關注以下注意事項:

  • √ 新站保護工具權限是自動開通,符合要求的站點均會自動開通,無需申請;
  • √ 新站保護中需填寫備案信息,備案信息僅需要填寫主體備案號即可;
  • √ 建議提交網站容頁URL;
  • √ 此工具僅對站點進行2個月的保護,兩個月后權限會自動關閉。

流量統計

百度統計

百度統計是百度推出的一款免費的專業網站流量分析工具,能夠告訴用戶訪客是如何找到并瀏覽用戶的網站,在網站上做了些什么,有了這些信息,可以幫助用戶改善訪客在用戶的網站上的使用體驗,不斷提升網站的投資回報率。

百度統計提供了幾十種圖形化報告,全程跟蹤訪客的行為路徑。同時,百度統計集成百度推廣數據,幫助用戶及時了解百度推廣效果并優化推廣方案。

基于百度強大的技術實力,百度統計提供了豐富的數據指標,系統穩定,功能強大但操作簡易。登陸系統后按照系統說明完成代碼添加,百度統計便可馬上收集數據,為用戶提高投資回報率提供決策依據。是提供給廣大網站管理員免費使用的網站流量統計系統,幫助用戶跟蹤網站的真實流量,并優化網站的運營決策。

百度統計與流量與關鍵詞區別

關于流量與關鍵詞工具的介紹,在4.2.2中已經有過介紹,這里重點強調下流量與關鍵詞工具,與百度統計的區別。

搜索資源平臺流量與關鍵詞工具,只記錄來自百度自然搜索的內容,什么是自然搜索,是指除了廣告、阿拉丁之外的搜索點擊量;另外,流量與關鍵詞工具,將PC端的點擊量和移動端的點擊量,是分開統計的,站長查看精確數據,需要結合PC端和移動端一起看;百度統計,統計的是來自百度搜索的全部UV或PV。

簡言之,百度搜索資源平臺(原百度站長平臺)流量與關鍵詞工具,提供的是來自百度搜索的自然搜索的點擊量,即搜索用戶每次從百度點擊進入頁面的那個動作次數,點擊一次算一次量;百度統計,計算的是來自百度搜索的全PV和UV,數據更詳細更充分。

從站長使用角度出發,如果網站想了解純SEO流量,可以使用流量與關鍵詞工具,如果想知道所有從百度過來的點擊,可以使用百度統計。

反饋溝通渠道

反饋中心

百度自然搜索結果下的網站問題,都可以通過反饋中心進行提交反饋。如網站流量下降、網站抓取建索引等問題,都可以通過反饋中心提交,并快速獲得答案。這里提示各位站長,提交問題反饋需要具備充足的說明,包括并不限于數據截圖,數據變化等,方便反饋中心同事更快解決網站問題。

以流量異常為例,反饋參考示例如下:

網站與2017年8月8日發生流量大幅異常,網站來自百度流量整體下降50%,(附流量與關鍵詞工具的截圖),自查網站并無問題,服務器穩定。

網站流量下降嚴重的關鍵詞如下:(需十組)

百葉窗,URL:http://www.abc.com/news/baiye123,之前排在搜索結果第一位,現在排在搜索第二頁。

反饋中心入口為:

PC——百度搜索資源平臺首頁——右側小飄窗,地址:http://ziyuan.baidu.com/feedback

自動問答

關于網站如何優化、友好建站、搜索規則等問題,站長如果想通過自我學習的方式了解,除了可以通過百度搜索資源平臺,更可以訪問搜索學院推出的自助問答服務,快速了解搜索知識。搜索學院的自動問答系統涵蓋學院所有歷史文章,及站長常見QA;且對于站長提問,每周都會進行問題整理盤點,內容補充。

歡迎各位體驗搜索學院的自動問答系統,地址:https://ikefu.baidu.com/web/zhanzhangpingtai

來源:本文由思享SEO博客原創撰寫,歡迎分享本文,轉載請保留出處和鏈接!
seo培訓評論廣告

6條評論

  • avatar
    資質辦理通  回復

    學習一下來了

  • avatar
    好特易購  回復

    樂泰、可賽新膠水批發零售!盡在好特易購

  • avatar
    護膚  回復

    寫的不錯,謝謝分享

  • avatar
    福州網站建設找我  回復

    感謝樓主的分享!!!

  • avatar
    熱虎網  回復

    百度出的東西,不能全信

    • avatar
      思享  回復

      @熱虎網 應該說,百度出的東西還算是比較科學合理的,但是排名卻不按照這個科學合理來

  • avatar
    廈門SEO  回復

    這個27號 就出了

昵稱*

郵箱*

網址

双色球网上投注