有幾種類型的指令可以告訴搜索引擎機器人哪些頁面和其他內容搜索引擎機器人將被允許抓取和索引。最常提到的是文件和元機器人標籤。文件告訴搜索引擎抓取您網站的特定部分，無論是頁面、波兰电话号码列表 子文件夾等。這最終有助於通過告訴 Google 網站中不太重要的部分您不抓取來產生更優化的抓取希望優先被索引。但請記住，搜索引擎機器人不需要尊重此文件。波兰电话号码列表 另一個常用的指令是元機器人標籤。這允許在頁面級別進行索引控制。元機器人標籤可以包含以下值： 索引：
允許搜索引擎將頁面添加到其索引中。 禁止搜索引擎將頁面添加到其索引中，並禁止該頁面出現在該特定搜索引擎的搜索結果中。 指示搜索引擎跟踪頁面上的鏈接，波兰电话号码列表 以便爬網可以找到其他頁面 指示搜索