工具分享：查詢蜘蛛是否正確爬行你的頁面

不知道站長們有沒有查過蜘蛛能否正確爬行網(wǎng)站的頁面鏈接，中文seo工具中有很多的蜘蛛模擬器，可以查看蜘蛛抓取的網(wǎng)頁文字內(nèi)容，但是卻很少有工具給出蜘蛛爬行的鏈接。

webconfs.com是國外比較著名的seo網(wǎng)站，主要是為大家提供一些SEO工具，比如著名的關鍵詞密度檢查器、蜘蛛模擬器等，其中蜘蛛模擬器不僅給出了抓取的問題內(nèi)容，還給大家提供了爬行的鏈接——Spidered Links。

使用這個工具可以查看蜘蛛是否能夠正確的爬行頁面上的鏈接地址，筆者也是剛發(fā)現(xiàn)了要與大家分享的問題——網(wǎng)站內(nèi)頁中的相對地址蜘蛛是無法正確爬行的。筆者剛上線的錢江人才網(wǎng)就出現(xiàn)了這樣的問題。

下面筆者就以自己的網(wǎng)站為例，給大家分享一下，希望可以作為參考，蜘蛛模擬器工具的地址為：http://www.webconfs.com/search-engine-spider-simulator.php，在查詢框中輸入自己的網(wǎng)站，這里最好查詢你自己網(wǎng)站的內(nèi)頁，因為首頁的相對地址對蜘蛛來講一般不會出現(xiàn)問題。筆者的網(wǎng)站查詢結果部分截圖分析：

打開上面的地址網(wǎng)頁是不存在的，因為爬行的地址是錯誤的，這里由于網(wǎng)站頁面中使用是相對地址，正確的地址為www.xxxx.com/News/，這里蜘蛛抓取的時候給漏掉了一個目錄，就無法正確的向下爬行了。

所以網(wǎng)站的內(nèi)頁最好還是使用絕對地址，蜘蛛可以直接去爬行正確的鏈接地址。

備注：webconfs.com為國外網(wǎng)站，有時候可能會打不開。全英文的，可以使用google瀏覽器打開，直接翻譯頁面。

服務器租用/服務器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]