有幾種類型的指令可以告訴搜索引擎機器人哪些頁面和其他內容搜索引擎機器人將被允許抓取和索引。最常提到的是文件和元機器人標籤。文件告訴搜索引擎抓取您網站的特定部分，無論是頁面、波兰电话号码列表 子文件夾等。這最終有助於通過告訴 Google 網站中不太重要的部分您不抓取來產生更優化的抓取希望優先被索引。但請記住，搜索引擎機器人不需要尊重此文件。波兰电话号码列表 另一個常用的指令是元機器人標籤。這允許在頁面級別進行索引控制。元機器人標籤可以包含以下值： 索引：
允許搜索引擎將頁面添加到其索引中。 禁止搜索引擎將頁面添加到其索引中，並禁止該頁面出現在該特定搜索引擎的搜索結果中。 指示搜索引擎跟踪頁面上的鏈接，波兰电话号码列表 以便爬網可以找到其他頁面 指示搜索 波兰电话号码列表 引擎不跟踪頁面上的鏈接這是的快捷方式。全部：這是索引的快捷方式禁止搜索引擎對頁面上的圖像進行索引如果要從另一個站點鏈接到圖像，仍然可以使用元機器人標籤對圖像進行索引）告訴搜
索引擎不顯示頁面的緩存版本。這與標記相同，但特定於指示搜索引擎不顯示文本或視頻片段。指示搜索引擎不中顯示頁面的翻譯告訴搜索引擎他們不應該在索引中顯示結果的特定日期和時間。波兰电话号码列表 爬蟲機器人不要在結果中使用頁面描述。但是，還有另一個標籤允許發布指令。 文件和 標籤的不同之處在於，是 HTTP 標頭的一部分，除了特定元素外，它還控制整個頁面的索引在一個頁面上。根據谷歌的說法：“任何可以在機器人元標記中使用的指令也可以指定”雖然您可以使用元機器 波兰电话号码列表 人標記和記在響