例如，http://www.baidu.com/robots.txt是一個有效的位置,樓主您好:robots.txt是要放在根目錄下的,當搜索機器人robots(有些稱為搜索蜘蛛或爬蟲)訪問一個站點時，它會首先檢查robots.txt是否存在于該站點的根目錄中,robots.txt文件必須位于域的根目錄中，并命名為“robots.txt”。
樓主您好:robots.txt是要放在根目錄下的。所謂根目錄，就是你的網站程序所在的目錄。一般根目錄好像是一個叫web或者www的文件夾。robots.txt文件必須位于域的根目錄中，并命名為“robots.txt”。位于子目錄下的robots.txt文件無效，因為漫游器只在域的根目錄下。例如，http://www.baidu.com/robots.txt是一個有效的位置。然而，http://www.baidu.com/mysite/robots.txt不是。如果您無權訪問域的根目錄，可以使用受限訪問機器人元標記。
搜索引擎蜘蛛訪問一個網站時，會先檢查網站目錄中是否有一個名為robots.txt的明文文件，用來指定蜘蛛在你的網站上爬行的范圍。簡單來說，就是你想讓他爬哪個部位，你不想讓他爬哪個部位。當搜索機器人robots(有些稱為搜索蜘蛛或爬蟲)訪問一個站點時，它會首先檢查robots.txt是否存在于該站點的根目錄中。如果存在，搜索引擎爬蟲會根據文件內容確定訪問范圍；如果文件不存在，搜索引擎爬蟲會沿著鏈接爬行。User-agent:(不允許)此項的值用于描述搜索引擎機器人的名稱。
robots.txt是一個純文本文件，用來聲明這個網站中你不希望被機器人訪問的部分，或者指定搜索引擎蜘蛛只抓取指定的內容。Robots.txt不是規定，而是約定，要求搜索引擎蜘蛛自覺遵守一種道德習俗。當搜索引擎蜘蛛訪問一個站點時，它會首先檢查該站點的根目錄中是否存在robots.txt。如果找到，搜索引擎蜘蛛會根據文件的內容來確定抓取的范圍。如果文件不存在，搜索機器人將沿著鏈接爬行。
{3。
