站内优化 – robots.txt 网站与搜索引擎爬虫之间的协议

robots是什么

robots通常是一个txt格式的文本文件，它位于网站的根目录中

它的主要作用是：用来告诉搜索引擎爬虫哪些页面可以抓取，哪些页面不能抓取

通俗的解释：robots.txt更像是一个访问协议，它允许搜索引擎哪些可以访问，哪些不可以访问

上面这个图片就是清河SEO这个站点的robots文件

其中user-agent：* ，user-agent用来表示蜘蛛名称，*表示所有蜘蛛

Disallow：/wp-admin/ 用于表示：禁止抓取/wp-admin/这个目录以及这个目录下的子目录

Allow：/wp-admin/admin-ajax.php 用于表示：允许WordPress的Ajax功能正常工作

Sitemap:https://www.qingheseo.com/sitemap.xml 用于表示硕贤科技的网站地图的URL

robots 能做什么

• 允许或禁止搜索引擎抓取某些页面
• 避免后台、测试页被收录
• 指定网站地图（Sitemap）位置
• 不能真正“隐藏”页面（只是抓取规则）