錯誤鏈接的抓取 |
發(fā)布時間: 2012/9/23 15:51:53 |
上圖是隨便抽取的幾個蜘蛛返回404狀態(tài)碼的抓取頁面,從圖中的標注可以看出,即使網(wǎng)站沒有死鏈,蜘蛛仍然會抓取一部分死鏈,百度蜘蛛喜歡抓取一半URL然后就被勾引到別的地方,而谷歌也有htm后綴抓成html的情況,不過相對來說,谷歌的抓取錯誤還是非常少的,而百度就不少了,究其原因,估計只有兩家公司的工程師才清楚,我們也沒必要去關注這個原因。針對這一點,無論你的站有沒有死鏈,盡量都去給加上404錯誤頁面,因為,不管你有木有死鏈,蜘蛛都會抓到。 本文出自:億恩科技【www.allwellnessguide.com】 |