關(guān)于網(wǎng)站日志中的不完整url或莫名其妙的url抓取

現(xiàn)在，google管理員工具可以很清晰的用數(shù)據(jù)為你揭曉這其中的詫異了，google管理員工具是國平老大非常推崇的一個seo工具，有人覺得做百度的人不需要google的東西，因為百度和google的算法有差別，那下面介紹google管理員的這個功能可以告訴你這樣的想法是大錯特錯的，管理員工具是一個按照網(wǎng)站seo各項考核標(biāo)準(zhǔn)制定的一個最最權(quán)威的seo工具，做seo需要的數(shù)據(jù)，絕大部分都可以從這里面獲取，下面就來介紹管理員工具的這個功能（好像是最近更新的，以前不是這樣子）。

首頁看下百度日志里面的怪異404

這些url的入口在哪里呢？搜索引擎是從什么地方獲取這些url的？

Google告訴你

首先介紹下google管理員工具關(guān)于抓取錯誤的功能

下面是另一個網(wǎng)站由于改版問題沒做跳轉(zhuǎn)和抓取攔截所造成的找不到抓取錯誤，有一很完整的曲線可以讓你很清晰的看見網(wǎng)站存在的這方面的問題的變化趨勢

和服務(wù)器問題造成的抓取錯誤

接第一張圖（同一個網(wǎng)站）

一開始從日志中觀察到這些錯誤，但是不知道這些錯誤的來源

現(xiàn)在可以知道這些錯誤的url是從何而來

點擊第102條，彈出下面的框，url不在sitemap中，但是在自己的其他網(wǎng)站里面出現(xiàn)，說明網(wǎng)址是網(wǎng)站自身存在的但是已經(jīng)被刪除了

點擊第110條，彈出下面的框，可以看到搜索引擎是從其他網(wǎng)站過來的（或是采集站，或是其他）

點擊進(jìn)入具體的來源頁面可以看到

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]