• <menu id="gmcym"><samp id="gmcym"></samp></menu>
    <option id="gmcym"></option>
    <tt id="gmcym"></tt>
  • <dd id="gmcym"></dd>
  • 杭州SEO優化公司-專業提供SEO網站優化/網站建設服務
    杭州seo優化

    robots.txt協議文件寫法

    robots.txt協議文件寫法公司專業從事關鍵詞優化的公司,我們主要做整站排名優化

    新站排名優化,網站托管,網站建設等,通過SEO技術優化在百度首頁位置展示您的網站。

    SEO工具
    當前位置:首頁 > SEO工具

    robots.txt協議文件寫法

    2019-08-15

    白馬小編

      很多建站系統,在建成網站后,都網站根目錄,默認有robots.txt協議文件。在網站優化競爭日益加劇的今天,原本設立之初無優化因素的robots.txt文件也被最大化使用,掌握其寫法,有備無患。
      
       一:robots.txt協議文件有什么用?
      
      搜索引擎訪問一個網站的時候,最先訪問的文件就是robots.txt。她告訴搜索引擎蜘蛛,哪些網站頁面可以被抓取,哪些禁止抓取。表面來看,這個功能作用有限。從搜索引擎優化的角度來看,可以通過屏蔽頁面,達到集中權重的作用,這,也是優化人員最為看重的地方。
      
      以某seo站點為例,其robots.txt文件如圖所示:

      很多建站系統,在建成網站后,都網站根目錄,默認有robots.txt協議文件。在網站優化競爭日益加劇的今天,原本設立之初無優化因素的robots.txt文件也被最大化使用,掌握其寫法,有備無患。      一:robots.txt協議文件有什么用?      搜索引擎訪問一個網站的時候,最先訪問的文件就是robots.txt。她告訴搜索引擎蜘蛛,哪些網站頁面可以被抓取,哪些禁止抓取。表面來看,這個功能作用有限。從搜索引擎優化的角度來看,可以通過屏蔽頁面,達到集中權重的作用,這,也是優化人員最為看重的地方。      以某seo站點為例,其robots.txt文件如圖所示:      robots.txt協議文件展示      二:網站設置robots.txt的幾個原因。      1:設置訪問權限保護網站安全。      2:禁止搜索引擎爬取無效頁面,集中權值到主要頁面。      三:怎么用標準寫法書寫協議?      有幾個概念需掌握。      User-agent表示定義哪個搜索引擎,如User-agent:Baiduspider,定義百度蜘蛛。      Disallow表示禁止訪問。      Allow表示運行訪問。      通過以上三個命令,可以組合多種寫法,允許哪個搜索引擎訪問或禁止哪個頁面。      四:robots.txt文件放在那里?      此文件需放置在網站的根目錄,且對字母大小有限制,文件名必須為小寫字母。所有的命令第一個字母需大寫,其余的小寫。且命令之后要有一個英文字符空格。      五:哪些時候需要使用該協議。      1:無用頁面,很多網站都有聯系我們,用戶協議等頁面,這些頁面相對于搜索引擎優化來講,作用不大,此時需要使用Disallow命令禁止這些頁面被搜索引擎抓取。      2:動態頁面,企業類型站點屏蔽動態頁面,有利于網站安全。且多個網址訪問同一頁面,會造成權重分散。因此,一般情況下,屏蔽動態頁面,保留靜態或偽靜態頁面。      3:網站后臺頁面,網站后臺也可以歸類于無用頁面,禁止收錄有百益而無一害。
      
      robots.txt協議文件展示
      
       二:網站設置robots.txt的幾個原因。
      
      1:設置訪問權限保護網站安全。
      
      2:禁止搜索引擎爬取無效頁面,集中權值到主要頁面。
      
       三:怎么用標準寫法書寫協議?
      
      有幾個概念需掌握。
      
      User-agent表示定義哪個搜索引擎,如User-agent:Baiduspider,定義百度蜘蛛。
      
      Disallow表示禁止訪問。
      
      Allow表示運行訪問。
      
      通過以上三個命令,可以組合多種寫法,允許哪個搜索引擎訪問或禁止哪個頁面。
      
       四:robots.txt文件放在那里?
      
      此文件需放置在網站的根目錄,且對字母大小有限制,文件名必須為小寫字母。所有的命令第一個字母需大寫,其余的小寫。且命令之后要有一個英文字符空格。
      
       五:哪些時候需要使用該協議。
      
      1:無用頁面,很多網站都有聯系我們,用戶協議等頁面,這些頁面相對于搜索引擎優化來講,作用不大,此時需要使用Disallow命令禁止這些頁面被搜索引擎抓取。
      
      2:動態頁面,企業類型站點屏蔽動態頁面,有利于網站安全。且多個網址訪問同一頁面,會造成權重分散。因此,一般情況下,屏蔽動態頁面,保留靜態或偽靜態頁面。
      
      3:網站后臺頁面,網站后臺也可以歸類于無用頁面,禁止收錄有百益而無一害。

      把不想讓百度蜘蛛抓取的目錄或者頁面,寫到robots.txt文件里,然后上傳到網站根目錄就可以了。