robots怎麼寫？robots怎麼設定

1樓：賁德桑詞

robots.txt的使用方法和詳細解釋

robots.txt對於大多數有**優化經驗抄的朋友來說並不算太陌生，用過的朋友肯定會有感受，設定好robots.txt對**優化來說利遠遠大於弊。

今天彭宇誠就與大家分享一下robots.txt的使用方法襲，希望對大家有所幫助。

我們先來認識一下什麼是robots.txt？

我理解的是robots.txt是通過**控制搜尋引擎蜘蛛索引的一個手段，百以便減輕**伺服器的頻寬使用率，從而讓**的空間更穩定，同時也可以提高**其他頁面的索引效率，提高**收錄。

下面我們再來熟悉一下怎樣使度用robots.txt？

首先，我們需要建立一個robots.txt文字檔案，然後在文件內設定好**，告訴搜尋引擎我**的哪些檔案你不能知訪問。然後上傳到**根目錄下面，因為當搜尋引擎蜘蛛在索引一個**時，會先爬行檢視**根目錄下是否有robots.

txt檔案。

robots.txt檔案內的**書寫規範我們也要注意，其中user-agent:*是必須存在的，表示對所有搜尋引擎蜘蛛有效。道disallow:是說明不允許索引哪些資料夾

robots.txt**設定什麼，如何設定它

2樓：專注基礎優化

robots說一千道一萬專業知識你還是不會明白的，用最簡單的話說，robots就是給搜尋引擎蜘蛛專指明我

的這個網屬站哪些可以收錄，哪些不要收錄，蜘蛛到達**，首先就訪問這個檔案，根據裡面制定的規則來進行抓取和爬行的，所以說這個檔案很重要，**的基礎優化需要設定好這個檔案，你搜一下紅城基礎優化，他們可以幫助你。