Robots.txt文件是一個簡單的TXT文本，但是專注網站建設及網站優化的Seoer們都清楚它的重要性，它的存在可以將不希望搜索引擎抓取的頁面屏蔽起來，也可以像是一張地圖一樣為蜘蛛引路指航。當蜘蛛爬行到一個站點時，首先訪問的便是是否存在Robots.txt文件，然后按照內容中的指引來進行索引訪問，如果文件不存在的話那么就按照頁面中的鏈接進行順序的訪問。因此我們可以利用它來屏蔽一些不需要搜索引擎要索引的目錄，或者將網站地圖在Robots.txt中描述引導蜘蛛爬行，這樣對于網站安全性上或者節省服務器帶寬以及引導索引都是非常給力的，可以說是達到了揚己之長避己之短的效果，以下我們做以具體分析：

　　一、利用Robots.txt節省服務器帶寬

　　一般來說站長很少去做這樣一個設置，然而當服務器訪問量大內容過于多的話就有必要做一個設置來節省服務器的帶寬，如屏蔽：image這樣的文件夾，對于搜索引擎索引來說沒有什么實際性的意義還浪費了大量的帶寬。如果對于一個圖片網站來說，消耗更是驚人的，所以利用Robots.txt可以充分解決這一點。

　　二、保護網站安全目錄

　　一般來說在設置Robots.txt時都要把管理目錄以及數據庫、備份目錄設置進去，進制蜘蛛的爬行，否則容易造成數據的泄露影響網站的安全。當然還有一些管理員不希望蜘蛛索引的其他目錄，同樣可以將其進行設置，這樣來說搜索引擎就可以嚴格的遵守這個規則來進行索引。

　　三、禁止搜索引擎索引頁面

　　一個網站總有一些不希望公眾看到的頁面，這個時候我們可以用Robots.txt來進行設置，避免蜘蛛對其索引，如前段日子筆者網速比較慢結果更新了一篇文章，導致連續重復發布了3次，結果全部被搜索引擎索引，怎么辦呢？重復的內容必然對網站優化是不好的，這時候便可以通過設置Robots.txt來將多余的頁面屏蔽掉。

　　四、Robots.txt鏈接網站地圖

　　由于蜘蛛訪問網站首先查看的便是Robots.txt這個文件，那么我們可以將網站地圖設置進去，更有利于蜘蛛索引最新的信息，而少走許多冤枉路。如顯示專業網站建設公司引航科技的地圖頁：http://www.****.net.cn/ sitemap.xml這樣加到Robots.txt中更是有利于搜索引擎的索引。也不用每天麻煩的到搜索引擎提交地圖文件，不是很簡便嗎？

　　五、寫法及注意事項

　　對于Robots.txt寫法一定要規范，寫法上疏忽不注意的人并不在少數。首先來說：User-agent:*是必須要寫的，*表示針對所有搜索引擎。Disallow:（文件目錄）不包括括號，表示禁止搜索引擎索引的意思，一下舉個例子具體說明：

    示例1：
　　User-agent:*
    Disallow:/
    表示禁止任何搜索引擎索引訪問，

    示例2：

    User-agent:*
    Disallow:/seebk
    表示禁止搜索引擎索引訪問seebk目錄

    示例3：

　　User-agent:baiduspider
　　User-agent:*
　　Disallow:/

    表示只允許百度蜘蛛堆砌索引訪問：百度：baiduspider，谷歌：googlebot，搜搜：sosospider，alexa：ia_archiver，雅虎：Yahoo Slurp
    示例4：

    User-agent：*
    Disallow：.jpg$

    防止盜鏈jpg圖片，如果你的帶寬足夠的話可以不設置。

    后語：優化Robots.txt揚己之長避己之短，做好Robots.txt更易網站順暢優化發展