亚洲Aⅴ无码Av红楼在线观看_国产午夜福利涩爱AⅤ_国产sm调教一区二区三区_精品人妻一区二区三区不卡毛片

始創(chuàng)于2000年 股票代碼:831685
咨詢熱線:0371-60135900 注冊(cè)有禮 登錄
  • 掛牌上市企業(yè)
  • 60秒人工響應(yīng)
  • 99.99%連通率
  • 7*24h人工
  • 故障100倍補(bǔ)償
全部產(chǎn)品
您的位置: 網(wǎng)站首頁(yè) > 幫助中心>文章內(nèi)容

如何和網(wǎng)絡(luò)爬蟲(chóng)對(duì)話

發(fā)布時(shí)間:  2012/8/27 9:41:58
 看淘寶搜索技術(shù)博客上的一篇文章《定向抓取漫談》,對(duì)通用網(wǎng)絡(luò)爬蟲(chóng)進(jìn)行了簡(jiǎn)單的定義,如下:

  抓取策略:那些網(wǎng)頁(yè)是我們需要去下載的,那些是無(wú)需下載的,那些網(wǎng)頁(yè)是我們優(yōu)先下載的,定義清楚之后,能節(jié)省很多無(wú)謂的爬取。

  更新策略:監(jiān)控列表頁(yè)來(lái)發(fā)現(xiàn)新的頁(yè)面;定期check頁(yè)面是否過(guò)期等等。

  抽取策略:我們應(yīng)該如何的從網(wǎng)頁(yè)中抽取我們想要的內(nèi)容,不僅僅包含最終的目標(biāo)內(nèi)容,還有下一步要抓取的url。

  抓取頻率:我們需要合理的去下載一個(gè)網(wǎng)站,卻又不失效率。

  讓我對(duì)“如何和網(wǎng)絡(luò)爬蟲(chóng)對(duì)話”這個(gè)課題有了一些思考,下面歸納的主要用于迎合上面提到的爬蟲(chóng)“抓取策略”。

  1、通過(guò)robots.txt和爬蟲(chóng)對(duì)話:搜索引擎發(fā)現(xiàn)一個(gè)新站,原則上第一個(gè)訪問(wèn)的就是robots.txt 文件,可以通過(guò)allow/disallow語(yǔ)法告訴搜索引擎那些文件目錄可以被抓取和不可以被抓取。

  關(guān)于robots.txt 的詳細(xì)介紹:about /robots.txt

  另外需要注意的是:allow/disallow 語(yǔ)法的順序是有區(qū)別的

  2、通過(guò)meta tag和爬蟲(chóng)對(duì)話:比如有的時(shí)候我們希望網(wǎng)站列表頁(yè)不被搜索引擎收錄但是又希望搜索引擎抓取,那么可以通過(guò)<meta name=“robots” content=“noindex,follow”> 告訴爬蟲(chóng),其他常見(jiàn)的還有noarchive,nosnippet,noodp 等。

  關(guān)于 meta tag 的更多介紹:Metadata Elements

  3、通過(guò) rel=“nofollow” 和爬蟲(chóng)對(duì)話:關(guān)于 rel=“nofollow” 最近國(guó)平寫了一篇文章《如何用好 nofollow》很值得一讀,相信讀完之后你會(huì)有很大的啟發(fā)。

  4、通過(guò) rel=“canonical” 和爬蟲(chóng)對(duì)話:關(guān)于 rel=“canonical” 谷歌網(wǎng)站站長(zhǎng)工具幫助有很詳細(xì)的介紹:深入了解 rel=”canonical”

  5、通過(guò)網(wǎng)站地圖和爬蟲(chóng)對(duì)話:比較常見(jiàn)的是xml格式sitemap和html格式sitemap,xml 格式sitemap可以分割處理或者壓縮壓縮,另外,sitemap的地址可以寫入到 robots.txt 文件。

  6、通過(guò)網(wǎng)站管理員工具和搜索引擎對(duì)話:我們接觸最多的就是谷歌網(wǎng)站管理員工具,可以設(shè)定googlebot抓取的頻率,屏蔽不想被抓取的鏈接,控制sitelinks等,另外,Bing和Yahoo也都有管理員工具,百度有一個(gè)百度站長(zhǎng)平臺(tái),內(nèi)測(cè)一年多了仍舊在內(nèi)測(cè),沒(méi)有邀請(qǐng)碼無(wú)法注冊(cè)。

  另外,這里面還衍生出一個(gè)概念,就是我一直比較重視的網(wǎng)站收錄比,所謂網(wǎng)站收錄比=網(wǎng)站在搜索引擎的收錄數(shù)/網(wǎng)站真實(shí)數(shù)據(jù)量,網(wǎng)站收錄比越高,說(shuō)明搜索引擎對(duì)網(wǎng)站的抓取越順利。

  暫時(shí)就想到這些,目的在于嘗試性的探討如何更有效的提高網(wǎng)站在搜索引擎的收錄量。

  權(quán)當(dāng)拋磚引玉,歡迎各位補(bǔ)充!

  備注:

  網(wǎng)絡(luò)爬蟲(chóng)(web crawler)又稱為網(wǎng)絡(luò)蜘蛛(web spider)是一段計(jì)算機(jī)程序,它從互聯(lián)網(wǎng)上按照一定的邏輯和算法抓取和下載互聯(lián)網(wǎng)的網(wǎng)頁(yè),是搜索引擎的一個(gè)重要組成部分。


本文出自:億恩科技【www.allwellnessguide.com】

服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)!虛擬主機(jī)域名注冊(cè)頂級(jí)提供商!15年品質(zhì)保障!--億恩科技[ENKJ.COM]

  • 您可能在找
  • 億恩北京公司:
  • 經(jīng)營(yíng)性ICP/ISP證:京B2-20150015
  • 億恩鄭州公司:
  • 經(jīng)營(yíng)性ICP/ISP/IDC證:豫B1.B2-20060070
  • 億恩南昌公司:
  • 經(jīng)營(yíng)性ICP/ISP證:贛B2-20080012
  • 服務(wù)器/云主機(jī) 24小時(shí)售后服務(wù)電話:0371-60135900
  • 虛擬主機(jī)/智能建站 24小時(shí)售后服務(wù)電話:0371-60135900
  • 專注服務(wù)器托管17年
    掃掃關(guān)注-微信公眾號(hào)
    0371-60135900
    Copyright© 1999-2019 ENKJ All Rights Reserved 億恩科技 版權(quán)所有  地址:鄭州市高新區(qū)翠竹街1號(hào)總部企業(yè)基地億恩大廈  法律顧問(wèn):河南亞太人律師事務(wù)所郝建鋒、杜慧月律師   京公網(wǎng)安備41019702002023號(hào)
      0
     
     
     
     

    0371-60135900
    7*24小時(shí)客服服務(wù)熱線