創新易聯歡迎您!13年專注深圳網站建設

深圳網站建設之搜索引擎VS蜘蛛覓食

日期:2014-08-27 | 來源:易聯網站建設公司 | 閱讀:
從事深圳網站建設這個行業,每天都必須給自己增值才能跟上網絡更新的腳步。下面談談搜索引擎與“蜘蛛覓食”之間的關聯:
 
搜索引擎的蜘蛛抓取網頁信息是有一定的規律的,不是任何網頁它都會隨便抓取的哦,而且“蜘蛛覓食”的方式是通過超鏈接。蜘蛛覓食有深度優先,即在一個頁面中發現了第一個超鏈接,通過這個鏈接爬到這個頁面,當爬到第二個頁面的同時有發現這個頁面的第一個超鏈接,然后順著往下爬。由于深度優先的原因,導致蜘蛛抓取的質量越來越低,并在傳遞網站權重上也有這根本的問題。
 
除了深度優先,搜索引擎也有著根本的問題,所以搜索引擎推出了第二個策略——寬度優先。蜘蛛會先把當前頁面的所有鏈接爬一次之后再順著這些鏈接往下爬。同樣的,寬度優先策略也存在著問題——抓取的效率和質量的問題。
 
蜘蛛在抓取完當前網頁之后,會根據這個頁面的權重;包括它的更新頻率、更新質量、外鏈的數量等等來判定的,那么對于權重高的頁面,蜘蛛會在間隔相對比較短的時間內再次抓取信息,然而權重相對低點的網站,類似長期沒有更新的網站,那蜘蛛肯定不常關顧,食物都沒有。
 
 本文由
深圳網站建設設公司:創新互聯Nicole供搞,轉載時請保留此鏈接,謝謝合作!
        文章出處
www.gkibha.live/newsdetail.asp?news_id=1191

—— 微信公眾號 ——

熱門標簽

急速赛车单机版