robots.txt是什么文件 有什么作用

    問：經(jīng)常在網(wǎng)上看到說網(wǎng)站目錄里面最好加robots.txt文件，請問robots.txt是個什么樣文件，上傳了robots.txt文件到網(wǎng)站目錄又有什么作用呢？

    答：當一個搜索引擎蜘蛛（比如百度蜘蛛）訪問你的站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。

    所以從這點看出，robots.txt是一個協(xié)議，而不是一個命令。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的，什么文件可以被抓取。當然了，如果你的網(wǎng)站有robots.txt這個文件，那么它將是搜索引擎中訪問你的網(wǎng)站時要查看的第一個文件。

    推薦閱讀：百度官方定義什么是robots.txt文件？

    搜索引擎使用spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個網(wǎng)站時，會首先會檢查該網(wǎng)站的根域下是否有一個叫做 robots.txt的純文本文件，這個文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個robots.txt，在文件中聲明 該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

    請注意，僅當您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立robots.txt文件。

    robots.txt文件放在哪里？

    robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來說，當spider訪問一個網(wǎng)站（比如 http://www.baidu.com）時，首先會檢查該網(wǎng)站中是否存在http://www.baidu.com/robots.txt這個文件，如果Spider找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它訪問權(quán)限的范圍。

    在robots.txt中禁止百度收錄，百度搜索結(jié)果中還顯示？

    如果其他網(wǎng)站鏈接了您robots.txt文件中設(shè)置的禁止收錄的網(wǎng)頁，那么這些網(wǎng)頁仍然可能會出現(xiàn)在百度的搜索結(jié)果中，但您的網(wǎng)頁上的內(nèi)容不會被抓取、建入索引和顯示，百度搜索結(jié)果中展示的僅是其他網(wǎng)站對您相關(guān)網(wǎng)頁的描述。