創新易聯歡迎您!13年專注深圳網站建設

robots文件作用和寫法

日期:2017-01-11 | 來源:易聯網站建設公司 | 閱讀:
  1、Robots.txt文件是什么:首先SEO博客要和大家弄清楚robots.txt的概念問題,帶有txt后綴的文件是純文本文檔,robots是機器人的意思,也就是說,robots.txt文件是給搜索引擎蜘蛛看的純文本文件。它告訴搜索引擎哪些網頁允許抓取、索引并在搜索結果中顯示,哪些網頁是被禁止抓取的。搜索引擎蜘蛛來訪問你的網站頁面的,首先會查看網站根目錄下是否有robots.txt文件,robots.txt文件就是起到這個作用的。我們都知道淘寶網是屏蔽百度的,靠的就是robots.txt文件。文件是這樣書寫的:User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: /
  2. robots.txt的作用:通過設置屏蔽搜索引擎,使之不必要頁面被收錄,可以大大降低抓取頁面所占用的網站帶寬,大型網站尤為明顯了。設置robots.txt文件可以指定某個搜索引擎不去索引不想被收錄的URL,比如我們通過url重寫將動態URL靜態化為永久固定鏈接,就可以通過robots.txt設置權限,阻止某些搜索引擎索引那些動態網址,網站重復頁面將減少,有利于SEO優化。


  創新易聯立足深圳面向華南,作為深圳網站建設公司服務提供商,憑借過硬的技術開發及安全保障實力、專業的全方位解決方案一舉獲得客戶的認可。

—— 微信公眾號 ——

熱門標簽

急速赛车单机版