<tfoot id="kyoiw"></tfoot>
  • <strike id="kyoiw"></strike>
  • <strike id="kyoiw"></strike>
  • 起重學(xué)院
    下載手機(jī)APP
    當(dāng)前位置: 首頁(yè) ? 起重學(xué)院 ? 電子商務(wù) ? 正文

    Robots.txt同樣有學(xué)問(wèn)

    ??來(lái)源:中國(guó)起重機(jī)械網(wǎng)??作者:admin
    |
    |
    |
     Robots.txt文件是一個(gè)簡(jiǎn)單的TXT文本,但是專(zhuān)注網(wǎng)站建設(shè)及網(wǎng)站優(yōu)化的Seoer們都清楚它的重要性,它的存在可以將不希望搜索引擎抓取的頁(yè)面屏蔽起來(lái),也可以像是一張地圖一樣為蜘蛛引路指航。當(dāng)蜘蛛爬行到一個(gè)站點(diǎn)時(shí),首先訪問(wèn)的便是是否存在Robots.txt文件,然后按照內(nèi)容中的指引來(lái)進(jìn)行索引訪問(wèn),如果文件不存在的話那么就按照頁(yè)面中的鏈接進(jìn)行順序的訪問(wèn)。因此我們可以利用它來(lái)屏蔽一些不需要搜索引擎要索引的目錄,或者將網(wǎng)站地圖在Robots.txt中描述引導(dǎo)蜘蛛爬行,這樣對(duì)于網(wǎng)站安全性上或者節(jié)省服務(wù)器帶寬以及引導(dǎo)索引都是非常給力的,可以說(shuō)是達(dá)到了揚(yáng)己之長(zhǎng)避己之短的效果,以下我們做以具體分析:

      一、利用Robots.txt節(jié)省服務(wù)器帶寬

      一般來(lái)說(shuō)站長(zhǎng)很少去做這樣一個(gè)設(shè)置,然而當(dāng)服務(wù)器訪問(wèn)量大內(nèi)容過(guò)于多的話就有必要做一個(gè)設(shè)置來(lái)節(jié)省服務(wù)器的帶寬,如屏蔽:image這樣的文件夾,對(duì)于搜索引擎索引來(lái)說(shuō)沒(méi)有什么實(shí)際性的意義還浪費(fèi)了大量的帶寬。如果對(duì)于一個(gè)圖片網(wǎng)站來(lái)說(shuō),消耗更是驚人的,所以利用Robots.txt可以充分解決這一點(diǎn)。

      二、保護(hù)網(wǎng)站安全目錄

      一般來(lái)說(shuō)在設(shè)置Robots.txt時(shí)都要把管理目錄以及數(shù)據(jù)庫(kù)、備份目錄設(shè)置進(jìn)去,進(jìn)制蜘蛛的爬行,否則容易造成數(shù)據(jù)的泄露影響網(wǎng)站的安全。當(dāng)然還有一些管理員不希望蜘蛛索引的其他目錄,同樣可以將其進(jìn)行設(shè)置,這樣來(lái)說(shuō)搜索引擎就可以嚴(yán)格的遵守這個(gè)規(guī)則來(lái)進(jìn)行索引。

      三、禁止搜索引擎索引頁(yè)面

      一個(gè)網(wǎng)站總有一些不希望公眾看到的頁(yè)面,這個(gè)時(shí)候我們可以用Robots.txt來(lái)進(jìn)行設(shè)置,避免蜘蛛對(duì)其索引,如前段日子筆者網(wǎng)速比較慢結(jié)果更新了一篇文章,導(dǎo)致連續(xù)重復(fù)發(fā)布了3次,結(jié)果全部被搜索引擎索引,怎么辦呢?重復(fù)的內(nèi)容必然對(duì)網(wǎng)站優(yōu)化是不好的,這時(shí)候便可以通過(guò)設(shè)置Robots.txt來(lái)將多余的頁(yè)面屏蔽掉。

      四、Robots.txt鏈接網(wǎng)站地圖

      由于蜘蛛訪問(wèn)網(wǎng)站首先查看的便是Robots.txt這個(gè)文件,那么我們可以將網(wǎng)站地圖設(shè)置進(jìn)去,更有利于蜘蛛索引最新的信息,而少走許多冤枉路。如顯示專(zhuān)業(yè)網(wǎng)站建設(shè)公司引航科技的地圖頁(yè):http://www.****.net.cn/ sitemap.xml這樣加到Robots.txt中更是有利于搜索引擎的索引。也不用每天麻煩的到搜索引擎提交地圖文件,不是很簡(jiǎn)便嗎?

      五、寫(xiě)法及注意事項(xiàng)

      對(duì)于Robots.txt寫(xiě)法一定要規(guī)范,寫(xiě)法上疏忽不注意的人并不在少數(shù)。首先來(lái)說(shuō):User-agent:*是必須要寫(xiě)的,*表示針對(duì)所有搜索引擎。Disallow:(文件目錄)不包括括號(hào),表示禁止搜索引擎索引的意思,一下舉個(gè)例子具體說(shuō)明:

        示例1:
      User-agent:*
        Disallow:/
        表示禁止任何搜索引擎索引訪問(wèn),

        示例2:

        User-agent:*
        Disallow:/seebk
        表示禁止搜索引擎索引訪問(wèn)seebk目錄

        示例3:

      User-agent:baiduspider
      User-agent:*
      Disallow:/

        表示只允許百度蜘蛛堆砌索引訪問(wèn):百度:baiduspider,谷歌:googlebot,搜搜:sosospider,alexa:ia_archiver,雅虎:Yahoo Slurp
        示例4:

        User-agent:*
        Disallow:.jpg$

        防止盜鏈jpg圖片,如果你的帶寬足夠的話可以不設(shè)置。

        后語(yǔ):優(yōu)化Robots.txt揚(yáng)己之長(zhǎng)避己之短,做好Robots.txt更易網(wǎng)站順暢優(yōu)化發(fā)展

    ?

    移動(dòng)版:Robots.txt同樣有學(xué)問(wèn)

    ?
    主站蜘蛛池模板: 中文无码精品一区二区三区| 精品久久久无码人妻中文字幕豆芽| 最新国产精品无码| 国产亚洲一区二区精品| 亚洲中文久久精品无码| 国产精品美女网站| 国产精品亚洲专区在线观看| 无码人妻精品一区二区| 久久夜色精品国产亚洲av| 88国产精品无码一区二区三区| 精品人妻人人做人人爽| 综合国产精品第一页| 久久国产精品偷99| 高清在线国产午夜精品| 亚洲精品高清视频| 国产成人精品综合网站| 国产午夜精品久久久久免费视| 亚洲av永久无码精品国产精品| 亚洲国产精品成人久久蜜臀| 久久久精品久久久久特色影视| 国产精品综合久久第一页| 97精品在线播放| 99久久精品久久久久久清纯| 香蕉国产精品频视| 久久青青草原精品影院| 99国产精品久久| 国产精品亚洲A∨天堂不卡 | 99久久99这里只有免费费精品| 亚洲日韩国产精品乱| 色婷婷久久久SWAG精品| 久久精品无码专区免费| 精品人妻少妇一区二区三区在线| 国产亚洲色婷婷久久99精品91| 国产精品99久久精品爆乳| 99亚洲精品视频| 国产精品美女久久久网AV| 国产亚洲精品a在线观看 | 91精品国产综合久久四虎久久无码一级 | 精品久久久久久国产免费了| 精品第一国产综合精品蜜芽| 国产精品视频色视频|