亚洲Aⅴ无码Av红楼在线观看_国产午夜福利涩爱AⅤ_国产sm调教一区二区三区_精品人妻一区二区三区不卡毛片

始創(chuàng)于2000年 股票代碼:831685
咨詢熱線:0371-60135900 注冊有禮 登錄
  • 掛牌上市企業(yè)
  • 60秒人工響應(yīng)
  • 99.99%連通率
  • 7*24h人工
  • 故障100倍補償
全部產(chǎn)品
您的位置: 網(wǎng)站首頁 > 幫助中心>文章內(nèi)容

如何在IIS里設(shè)置并查詢搜索引擎蜘蛛

發(fā)布時間:  2012/7/10 16:52:58
 一、IIS中網(wǎng)站的日志的設(shè)置

打開IIS。選擇所要設(shè)置的網(wǎng)站屬性。彈出如下窗口:

 “啟用日志記錄”,勾選,選擇“W3C擴展日志文件格式”。

再次點擊這里的“屬性”按鈕,常規(guī)選項里面,選擇新日志計劃為“每天”,當然也可以選擇其他,選擇好保存日志文件的目錄。 

 

按照一般情況,設(shè)置到這里就可以記錄日志了,但是有些主機無論如何都找不到搜索引擎爬蟲的痕跡,類似于Baiduspider+怎么都看不到。這個時候我們就需要啟用剩下的三個選項了!

選擇高級選項。勾選底下的用戶代理(cs(User-Agent))等下面三個選項,這樣我們就可以看到百度蜘蛛了! 

二、如何分析網(wǎng)站IIS日志中的蜘蛛

首先來認識下國內(nèi)主流搜索引擎的蜘蛛的名稱:

1. Google爬蟲名稱

1) Googlebot:從Google的網(wǎng)站索引和新聞索引中抓取網(wǎng)頁

2) Googlebot-Mobile針對Google的移動索引抓取網(wǎng)頁

3) Googlebot-Image:針對Google的圖片索引抓取網(wǎng)頁

4) Mediapartners-Google:抓取網(wǎng)頁確定 AdSense 的內(nèi)容。只有在你的網(wǎng)站上展示 AdSense 廣告的情況下,Google才會使用此漫游器來抓取您的網(wǎng)站。

5) Adsbot-Google:抓取網(wǎng)頁來衡量 AdWords 目標網(wǎng)頁的質(zhì)量。只有在你使用 Google AdWords 為你的網(wǎng)站做廣告的情況下,Google才會使用此漫游器。

2. 百度(Baidu)爬蟲名稱:Baiduspider.

3. 雅虎(Yahoo)爬蟲名稱:Yahoo Slurp

4. 有道(Yodao)蜘蛛名稱:YodaoBot

5. 搜狗(sogou)蜘蛛名稱:sogou spider

因為咱們國內(nèi)比較關(guān)注百度所以我們來分下百度的蜘蛛,從剛剛記錄的日志搜索“Baiduspider+“選取一段

00:00:06 GET /Class/Class.asp ID=38 61.135.168.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 214

上面這個日志說明是在0點的時候 訪問了 Class/Class.asp ID=38頁面。蜘蛛IP地址為61.135.168.142。其中的200 表示搜索引擎蜘蛛爬行后返回HTTP的狀態(tài)代碼,代表成功爬行并抓取。

下面列出常見數(shù)字代碼:

2xx 成功

200 正常;請求已完成。

201 正常;緊接 POST 命令。

202 正常;已接受用于處理,但處理尚未完成。

203 正常;部分信息 — 返回的信息只是一部分。

204 正常;無響應(yīng) — 已接收請求,但不存在要回送的信息。

3xx 重定向

301 已移動 — 請求的數(shù)據(jù)具有新的位置且更改是永久的。

302 已找到 — 請求的數(shù)據(jù)臨時具有不同 URI。

303 請參閱其它 — 可在另一 URI 下找到對請求的響應(yīng),且應(yīng)使用 GET 方法檢索此響應(yīng)。

304 未修改 — 未按預(yù)期修改文檔。

305 使用代理 — 必須通過位置字段中提供的代理來訪問請求的資源。

306 未使用 — 不再使用;保留此代碼以便將來使用。

4xx 客戶機中出現(xiàn)的錯誤

400 錯誤請求 — 請求中有語法問題,或不能滿足請求。

401 未授權(quán) — 未授權(quán)客戶機訪問數(shù)據(jù)。

402 需要付款 — 表示計費系統(tǒng)已有效。

403 禁止 — 即使有授權(quán)也不需要訪問。

404 找不到 — 服務(wù)器找不到給定的資源;文檔不存在。

407 代理認證請求 — 客戶機首先必須使用代理認證自身。

410 請求的網(wǎng)頁不存在(永久);

415 介質(zhì)類型不受支持 — 服務(wù)器拒絕服務(wù)請求,因為不支持請求實體的格式。

5xx 服務(wù)器中出現(xiàn)的錯誤

500 內(nèi)部錯誤 — 因為意外情況,服務(wù)器不能完成請求。

501 未執(zhí)行 — 服務(wù)器不支持請求的工具。

502 錯誤網(wǎng)關(guān) — 服務(wù)器接收到來自上游服務(wù)器的無效響應(yīng)。

503 無法獲得服務(wù) — 由于臨時過載或維護,服務(wù)器無法處理請求。


本文出自:億恩科技【www.allwellnessguide.com】

服務(wù)器租用/服務(wù)器托管中國五強!虛擬主機域名注冊頂級提供商!15年品質(zhì)保障!--億恩科技[ENKJ.COM]

  • 您可能在找
  • 億恩北京公司:
  • 經(jīng)營性ICP/ISP證:京B2-20150015
  • 億恩鄭州公司:
  • 經(jīng)營性ICP/ISP/IDC證:豫B1.B2-20060070
  • 億恩南昌公司:
  • 經(jīng)營性ICP/ISP證:贛B2-20080012
  • 服務(wù)器/云主機 24小時售后服務(wù)電話:0371-60135900
  • 虛擬主機/智能建站 24小時售后服務(wù)電話:0371-60135900
  • 專注服務(wù)器托管17年
    掃掃關(guān)注-微信公眾號
    0371-60135900
    Copyright© 1999-2019 ENKJ All Rights Reserved 億恩科技 版權(quán)所有  地址:鄭州市高新區(qū)翠竹街1號總部企業(yè)基地億恩大廈  法律顧問:河南亞太人律師事務(wù)所郝建鋒、杜慧月律師   京公網(wǎng)安備41019702002023號
      0
     
     
     
     

    0371-60135900
    7*24小時客服服務(wù)熱線