分享一份适合wordpress的robots.txt写法
括号内的汉字是我对指令的解释说明,使用时请去掉。大家可以根据自己的需要增减一些指令。User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
(屏蔽抓取程序文件,如果需要抓取上传的文件,可以加上Allow: /wp-content/uploads/)
Disallow: /feed
Disallow: /*/feed
(以上2个屏蔽feed地址)
Disallow: /*/trackback
(屏蔽trackback链接,防止蜘蛛抓取重复内容)
Disallow: /*?replytocom=
Disallow: /*/comment-page-*
(这2个是屏蔽抓取留言信息链接)
Disallow: /?s=*
Disallow: /*/?s=*
(这2个是禁止抓取站内搜索结果)
Disallow: /?p=*
(屏蔽抓取短链接)
sitemap:http://www.xxxxxxxx.com/sitemap.xml
感谢分享…… 谢谢楼主分享~~ 3q~~~~~~ 感谢楼主分享咯 支持下
感谢分享…… 感谢楼主分享,以后用的上 我拿走啦,把分留下 用个实例说明 夏洛克 发表于 2013-3-31 17:09 static/image/common/back.gif
用个实例说明
这个是通用的,一般的WP站都可以用,当然可以根据自己的需要增减一些指令,这几个指令是一般情况下要用的……每个指令的意思我已经说明了……
不错,修改下自己的robots.txt 谢谢,直接复制,修改xxxxxxxx 感谢分享…… 这个感谢了,我都是用的默认的。
谢谢了非常实用
非常好啊,多谢多谢,最重要的是写出解释了
收藏了.好东东:$:$:$:$:o:o:o:o:o
对于这种实用性文章,我只有默默的收藏了。:victory:
不错的内容,支持一下。。。。
页:
[1]