了解robots.txt

更新時間:

產品內容

萬維網機器人(也稱為流浪者或蜘蛛)的程序,穿越許多頁面,在萬維網的遞歸檢索鏈接的網頁。更多信息請參閱 機器人頁。 在1993年和1994年也有一些情況下,機器人訪問了WWW服務器,他們不歡迎各種原因。有時這些機器人的具體原因,例如某些機器人淹沒服務器與速射要求,或相同的文件檢索反复。在其他情況下機器人走過部分WWW服務器的不適合,例如很深的虛擬樹木,重複信息,臨時信息,或CGI -腳本的副作用(如投票)。 這些事件表明需要建立的機制為WWW服務器,以表明對機器人的哪些部分的服務器不應該訪問。本標準滿足這一需求的業務解決方案。 該方法 該方法用於排除機器人從服務器是創建一個服務器上的文件,指定訪問策略的機器人。該文件必須可通過HTTP本地網址“/ robots.txt的“。內容此文件的指定下面。 之所以選擇這種方法,因為它可以很容易地實施現有的任何WWW服務器,和機器人可以找到通往政策,只有一個文件檢索。 一種可能的缺點,這個單文件的做法是,只有服務器管理員可以保持這樣一份名單,而不是個別的文件服務器上的維護者。這可以解決當地的進程來構造一個文件從一數別人的,但如果,或如何,這樣做是對的範圍之外本文件。 選擇的網址是出於幾個標準: 文件名應該適應文件命名限制所有常用的操作系統。 文件擴展名應該不需要額外的服務器配置。 文件名應表明該文件的目的,並很容易記住。 這種可能性的衝突與現有的文件應該很小。 格式 的格式和語義的“/ robots.txt的“文件如下: 該文件包含一個或多個記錄分隔由一個或多個空行(終止由CR,鉻/倪,或NL)的。每個記錄包含行的形式“ <值“。字段名稱不區分大小寫。 評論可以包含在文件中使用UNIX Bourne shell的公約:'#'字符是用來表明前面的空間(如果有的話),其餘行到線路終端將被丟棄。行只包含評論是完全排除,因此並不表明紀錄邊界。 記錄開始與一個或多個 用戶代理 行,後面跟著一個或多個 不允許 線,詳情如下。未確認的頭被忽略。 用戶代理 在這方面值的名稱是機器人的記錄,說明訪問的政策。 如果有多個用戶代理領域存在的記錄描述了相同的訪問政策,一個多機器人。至少有一個外地需求在場每紀錄。 該機器人要開放,在解釋這一領域。不區分大小寫子串匹配的名字沒有版本信息,建議。 如果該值是'*',記錄描述了默認的訪問策略的任何機器人具有不匹配任何其他記錄。這是不允許有多個這樣的記錄在“/ robots.txt的“文件。 不允許 在這方面的價值的部分指定網址不被訪問。這可以是一個完整路徑,或部分道路,任何網址開頭此值將無法取回。例如, 不允許:/幫助 既不允許 / help.html 和 /幫助/ index.html,而 不允許:/幫助/ 將不允許 /幫助/ index.html 但允許 / help.html。 任何空值,顯示所有的URL可以檢索。至少有一個不允許字段必須存在於記錄。 存在的一個空的“/ robots.txt的“文件沒有明確的關聯語義,這將被視為如果它不存在,也就是說,所有的機器人會考慮自己的歡迎。 實例 下面的例子“/ robots.txt的“文件規定,任何機器人應該訪問的任何網址的開始”/網絡世界/地圖/“或”/ tmp目錄/“,或 / foo.html: # robots.txt for http://www.example.com/ User-agent: * Disallow: /cyberworld/map/ # This is an infinite virtual URL space Disallow: /tmp/ # these will soon disappear Disallow: /foo.html 這個例子“/ robots.txt的“文件規定,任何機器人應該訪問的任何網址的開始”/網絡世界/地圖/“除了機器人名為”cybermapper“: # robots.txt for http://www.example.com/ User-agent: * Disallow: /cyberworld/map/ # This is an infinite virtual URL space # Cybermapper knows where to go. User-agent: cybermapper Disallow: 這個例子表明沒有機器人訪問本網站應進一步: # go away User-agent: * Disallow: / 首頁科技 關鍵字 關鍵字行銷 關鍵字排名 關鍵字廣告 網頁優化 SEO 網路行銷 網站排名 自然搜尋 網路行銷 SEO 關鍵字 關鍵字行銷 關鍵字廣告 關鍵字排名 PR值 外部連結 網站排名 網路排名 自然搜尋 網頁優化 網站優化 搜尋引擎 網頁設計海關保稅報廢
免費註冊

公司資訊

  1. 統一編號28601460
  2. 聯絡人熊先生
  3. 更多首頁科技SEO資訊
網頁更新日:

相關產品

  1. SFP 2.5G BiDi-1570TX
    SFP 2.5G BiDi-1570TX
  2. 高階 十六路影音硬壓卡 H264 DVR
    高階 十六路影音硬壓卡 H264 DVR
  3. 长期收购BD82HM76 SLJ8E
  4. ☆抗通膨換現金保證高價收購液晶電視,液晶螢幕電洽(02)25575923
  5. 內存板收購
    內存板收購

網網相連

快得利便利印刷
絕策設計
官田排骨王美食館