亚洲av日韩av中文综合_91高清免费国产自产拍_中文字字幕在线中文乱码不卡新二_禁乱子伦视频中文字幕_天天摸夜夜添夜夜无码

對(duì)于新手朋友來(lái)說(shuō)，不太清楚robots該如何書(shū)寫(xiě)不會(huì)錯(cuò)，robots對(duì)網(wǎng)站內(nèi)的優(yōu)化又是非常重要的，今天蔡江來(lái)為大家簡(jiǎn)單講解下robots的正確寫(xiě)法。(以下內(nèi)容本著實(shí)用易懂的目的出發(fā)描述)

  這里蔡江先把幾種常用的寫(xiě)出來(lái)，后面再講每一句的含義：

禁止所有搜索引擎抓?。?User-agent: *
Disallow: / 禁止百度蜘蛛抓取： User-agent: baiduspider
Disallow: / 允許百度抓取，禁止谷歌抓取： User-agent: *
Allow: /
User-agent: baiduspider
Allow: /
User-agent: Googlebot
Disallow: /

  聰明的朋友可能已經(jīng)看出來(lái)了改如何寫(xiě)robots了。沒(méi)看明白的不著急，請(qǐng)看下文

  robots是一行或多行User-agent開(kāi)始，后面跟上多個(gè)Disallow和Allow行，參照上面案例

  User-agent: 后面跟搜索引擎機(jī)器人的名字

  Disallow: (不可以被抓取)

  Allow: (可以被抓取)

  注：robots所有屬性后面都要加 一個(gè)空格。例如：Allow: xxx，冒號(hào)的后面一定要有一個(gè)空格（半角下的空格）

下面重點(diǎn)說(shuō)下百度蜘蛛的通配符：
Baiduspider支持使用通配符"*"和"$"來(lái)模糊匹配url。
"$" 匹配行結(jié)束符。
"*" 匹配0或多個(gè)任意字符。

附上我的站點(diǎn)的robots，我用的織夢(mèng)：

User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
Disallow: /index.php
Disallow: /member
Disallow: /plus/vote

  注：寫(xiě)robots要嚴(yán)格按照規(guī)則來(lái)寫(xiě)，不然寫(xiě)出來(lái)的是無(wú)效的。寫(xiě)好之后可以到百度站長(zhǎng)平臺(tái)robots更新一下，檢查robots是否書(shū)寫(xiě)正確。另外robots中還可以加入網(wǎng)站地圖sitemap，有些人認(rèn)為這不安全，寫(xiě)到里面容易被人輕松獲得了網(wǎng)站的鏈接。我認(rèn)為真正有人想采集網(wǎng)站的文章，不是知道網(wǎng)站地圖與否能夠阻擋的了的。所以robots中大可以申明網(wǎng)站地圖的鏈接。