如何写好WordPress网站的robots.txt文件？

hardrock

robots.txt文件要放在网站根目录下，最基本的检查方法就是用你的域名后面直接跟上robots.txt访问，如果能访问，那放置的位置就对了。

找到份代码，

1. User-agent: *
   
2. Disallow: /cgi-bin/
   
3. Disallow: /wp-admin/
   
4. Disallow: /wp-content/cache/
   
5. Disallow: /wp-content/languages/
   
6. Disallow: /wp-content/plugins/
   
7. Disallow: /wp-content/themes/
   
8. Disallow: /wp-content/upgrade/
   
9. Disallow: /wp-includes/
   
10. Disallow: /comments/
    
11. Disallow: /category/
    
12. Disallow: /tag/
    
13. Disallow: /page/
    
14. Disallow: /feed/
    
15. Disallow: /author/
    
16. Disallow: /trackback/
    
17. Disallow: /2010/
    
18. Disallow: /2011/
    
19. Disallow: /2012/
    
20. Disallow: /2013/
    
21. Disallow: /*/feed/
    
22. Disallow: /*/trackback/
    
23. Disallow: /*?
    
24. Disallow: /*/*?
    
25. Disallow: /*/*/*?
    
26. Disallow: /*.php$
    
27. Disallow: /*.js$
    
28. Disallow: /*.inc$
    
29. Disallow: /*.css$
    
30. 
    
31. # Google Image
    
32. User-agent: Googlebot-Image
    
33. Disallow:
    
34. Allow: /
    
35. 
    
36. # Google AdSense
    
37. User-agent: Mediapartners-Google*
    
38. Disallow:
    
39. Allow: /
    
40. 
    
41. # digg mirror
    
42. User-agent: duggmirror
    
43. Disallow: /
    
44. 
    
45. # Alexa archiver
    
46. User-agent: ia_archiver
    
47. Disallow: /
    
48. 
    
49. Sitemap:http://www.xxx.com/sitemap.xml
    
50. Sitemap:http://www.xxx.com/sitemap_baidu.xml

复制代码

问题是这份代码适用于中文站用于百度，我是做英文站要适用于google, 以上代码怎样改成适用英文站的？
对于代码 一窍不通...

主要疑问是31----47行的代码，既然是英文站，这几行代码应该是允许的吧？中文站才禁止抓取？




补充内容 (2013-12-22 17:43):
没这么复杂，下面的就可以了
Sitemap: hxxp://www.xxx.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-*

补充内容 (2013-12-27 17:17):
http://blog.csdn.net/wallacer/article/details/654289

dulun

好像禁止了动态收录？具体听高手解答~

luguokankan

我第一次看到这个robots.txt是在英文站．．．．．
可以用于英文站

327949734

和竞争对手学习呀，他们是你最好的老是