HTTP 404或Not Found錯(cuò)誤信息是HTTP的其中一種“標(biāo)準(zhǔn)回應(yīng)信息”(HTTP狀態(tài)碼)，此信息代表客戶(hù)端在瀏覽網(wǎng)頁(yè)時(shí)，服務(wù)器無(wú)法正常提供信息，或是服務(wù)器無(wú)法回應(yīng)且不知原因。

     大量死鏈對(duì)搜索引擎來(lái)講，有什么影響?

     1、很多站都避免不了存在死鏈接，但死鏈率過(guò)高，會(huì)影響搜索引擎對(duì)網(wǎng)站的評(píng)分。
     2、搜索引擎對(duì)每個(gè)網(wǎng)站每天抓取的頻次是限額的，若網(wǎng)站存在大量死鏈，會(huì)浪費(fèi)掉抓取配額并影響正常頁(yè)面的抓取。
     3、過(guò)多死鏈對(duì)網(wǎng)站用戶(hù)來(lái)講也是體驗(yàn)不好的表現(xiàn)。


     百度站長(zhǎng)工具中有一個(gè)抓取異常，那么這個(gè)工具里面的異常數(shù)據(jù)是如何產(chǎn)生的呢?

     1、網(wǎng)站內(nèi)部添加了錯(cuò)誤的內(nèi)部鏈接

     編輯失誤或者程序員大意讓頁(yè)面產(chǎn)生了不存在的頁(yè)面。

     2、網(wǎng)站短暫無(wú)法訪問(wèn)
     因?yàn)榉?wù)器、空間或程序問(wèn)題導(dǎo)致網(wǎng)站短暫無(wú)法訪問(wèn)，產(chǎn)生大量返回碼為5開(kāi)頭的服務(wù)器錯(cuò)誤頁(yè)面。

     3、外部鏈接錯(cuò)誤

     用戶(hù)或者站長(zhǎng)在站外發(fā)布了錯(cuò)誤URL，蜘蛛爬取后產(chǎn)生錯(cuò)誤頁(yè)面;別的網(wǎng)站復(fù)制或采集了你們含有錯(cuò)誤鏈接的頁(yè)面;有些垃圾網(wǎng)站自動(dòng)生成的靜態(tài)搜索結(jié)果頁(yè)，如 www。8875。org/desc/3715714444.html 這個(gè)頁(yè)面中出現(xiàn)的很多鏈接在html前面有“...”。

     4、爬蟲(chóng)提取了不完整的URL

     個(gè)別爬蟲(chóng)在提取頁(yè)面URL的時(shí)候，只提取部分URL或者把正常的URL后面的文字或字符也提取進(jìn)去了。

     5、網(wǎng)站改版

     網(wǎng)站改版過(guò)程中老頁(yè)面直接刪除并沒(méi)有301跳轉(zhuǎn)到對(duì)應(yīng)頁(yè)面，或者實(shí)行301跳轉(zhuǎn)后依然部分老頁(yè)面無(wú)法訪問(wèn)。

     6、管理員刪除頁(yè)面

     網(wǎng)站管理員刪除被黑、廣告、過(guò)時(shí)、被灌水頁(yè)面導(dǎo)致很多死鏈接。

     7、過(guò)時(shí)或交易完畢頁(yè)面

     下架商品、過(guò)期信息

     出現(xiàn)了了上述情況，我們?cè)撊绾稳ソ鉀Q

     

     1、修復(fù)錯(cuò)誤頁(yè)面

     抓取異常中的很多錯(cuò)誤頁(yè)面是因?yàn)槌绦騿T大意或者我們程序問(wèn)題導(dǎo)致的，本應(yīng)該是正常頁(yè)面，因?yàn)槭д`導(dǎo)致無(wú)法訪問(wèn)，對(duì)于此類(lèi)頁(yè)面，時(shí)間進(jìn)行修復(fù)。

     2、提交死鏈接

     但必定很多錯(cuò)誤頁(yè)面是本不應(yīng)該存在的，那么我們要想辦法獲取此類(lèi)頁(yè)面URL，獲取方式主要有三種：
     (1) 百度站長(zhǎng)工具--抓取異常--找不到的頁(yè)面--復(fù)制數(shù)據(jù) [修正：此處死鏈不需我們提交了，百度站長(zhǎng)工具自動(dòng)提交死鏈];
     (2) 管理員在刪除頁(yè)面的時(shí)候手動(dòng)或者程序自動(dòng)保存被刪頁(yè)面URL;
     (3) 使用相關(guān)爬蟲(chóng)軟件，爬取整站獲取死鏈，如Xenu 。
     然后將上述數(shù)據(jù)合并并刪除重復(fù)項(xiàng)(excel表格中能實(shí)現(xiàn)刪重，wps表格更容易操作)，然后再?gòu)?fù)制所有URL通過(guò)HTTP狀態(tài)批量查詢(xún)工具查詢(xún)下[這個(gè)不錯(cuò)pl.soshoulu.com/webspeed.aspx]，剔除掉非404返回碼頁(yè)面。
     然后整理上面處理好的數(shù)據(jù)粘貼到網(wǎng)站根目錄中的一個(gè)文檔中，再把文檔地址提交到 百度站長(zhǎng)工具--網(wǎng)頁(yè)抓取--死鏈提交--添加新數(shù)據(jù)--填寫(xiě)死鏈文件地址。

     3、在robots中屏蔽抓取

     若大量的錯(cuò)誤URL存在一定的規(guī)律，可以在robots文件中寫(xiě)一個(gè)規(guī)則禁止蜘蛛抓取此類(lèi)鏈接，但前提一定要照顧好正常頁(yè)面，避免屏蔽規(guī)則誤傷正常頁(yè)面，比如你的網(wǎng)站全部是靜態(tài)URL，那么如果錯(cuò)誤鏈接中含有?的話，規(guī)則寫(xiě)成Disallow:/*?*，如果錯(cuò)誤鏈接中有/id...html 的話，規(guī)則寫(xiě)成Disallow:/*...* 。
     robots文件添加完規(guī)則后，一定要去百度站長(zhǎng)的 robots工具 進(jìn)行校驗(yàn)，將指定的錯(cuò)誤頁(yè)面放進(jìn)去，看看是否封禁成功，再把正常的頁(yè)面放進(jìn)去看看是否被誤封。


     相關(guān)注意事項(xiàng)：

     1、在百度站長(zhǎng)工具中提交死鏈前，一定要確保提交的死鏈數(shù)據(jù)不存在活鏈接。一旦存在活鏈，會(huì)顯示提交失敗導(dǎo)致無(wú)法刪除。

     2、由于很多網(wǎng)站程序問(wèn)題，很多打不開(kāi)的頁(yè)面返回碼并非404，這是一個(gè)大問(wèn)題，比如明明是打不開(kāi)的頁(yè)面返回碼是301、200、500，如果是200的話，會(huì)導(dǎo)致網(wǎng)站中出現(xiàn)不同URL獲取相同內(nèi)容。

     3、把所有的錯(cuò)誤頁(yè)面找到后，一定要尋找此類(lèi)頁(yè)面URL相同特征，并且和正常頁(yè)面的特征有區(qū)分，寫(xiě)對(duì)應(yīng)規(guī)則到robots文件中，禁止蜘蛛抓取，就算你已經(jīng)在站長(zhǎng)工具中提交了死鏈，也建議robots封禁抓取。

     4、robots只能解決蜘蛛不再抓取此類(lèi)頁(yè)面，但解決不了已經(jīng)收錄頁(yè)面的快照刪除問(wèn)題，若你的網(wǎng)站被黑，刪除了被黑頁(yè)面，除了robots封禁被黑頁(yè)面外，還應(yīng)該將這些頁(yè)面提交死鏈。提交死鏈?zhǔn)莿h除被黑頁(yè)面快照的最快辦法。

【版權(quán)聲明】:本站內(nèi)容來(lái)自于與互聯(lián)網(wǎng)(注明原創(chuàng)稿件除外),供訪客免費(fèi)學(xué)習(xí)需要。如文章或圖像侵犯到您的權(quán)益，請(qǐng)及時(shí)告知，我們第一時(shí)間刪除處理！謝謝！