wordpress网站的robots文件如何让蜘蛛友好快速爬取?

jaysun

网站安装好wordpress程序后,wordpress会网站根目录自动为我们的网站创建一个robots.txt文件,蜘蛛爬取网站首先爬取的就是robots.txt文件,这个文件可以说非常重要,设置不好会影响网站的收录,如何设置下面会具体说一下。

11.webp.jpg




我们可以看到,wordpress程序只是为网站的robots.txt文件添加了3句简单的代码:


User-agent: *


Disallow: /wp-admin/


Allow: /wp-admin/admin-ajax.php


从上面的代码中,wordpress不允许搜索引擎蜘蛛爬取/wp-admin/目录,但允许蜘蛛爬取/wp-admin/admin-ajax.php文件。


总结WordPress全部robots.txt配置


User-agent: *


Disallow: /wp-admin/


Disallow: /wp-includes/


Disallow: /wp-content/plugins


Disallow: /wp-content/themes


Disallow: /feed


Disallow: /articles/*/feed


注意事项:


避免收录WordPress系统文件


避免收录重复的内容


正确引导搜索引擎找到网址地图


以上仅供参考


您需要 登录账户 后才能发表评论

发表评论

快捷回复: 表情:
评论列表 (暂无评论,82人围观)

还没有评论,来说两句吧...

目录[+]

取消
微信二维码
微信二维码
支付宝二维码