robots协议怎么用？robots.txt写法与SEO避坑指南

📍 WDQWDWQD987AAAAA:216.73.216.206
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /4b348925b282.html
📄

robots 是搜索引擎爬虫访问网站时首先查看的规则文件，通常以 robots.txt 的形式放在网站根目录。它告诉爬虫哪些页面可以抓取、哪些目录应当避开，是站点与搜索引擎之间最基础的沟通方式。正确理解 robots 协议，既能保护后台和隐私内容，也能避免误伤正常页面。

robots.txt 的基本写法

一个标准的 robots.txt 由若干条记录组成，每条记录以 User-agent 开头，后跟 Allow 或 Disallow 规则。例如允许所有爬虫抓取全站，可以写 User-agent: * 和 Allow: /；若要屏蔽后台目录，则添加 Disallow: /admin/。需要注意的是，规则匹配遵循最长路径优先，Allow 与 Disallow 同时存在时，更具体的路径会覆盖更宽泛的规则。

常见使用场景

• 屏蔽后台、购物车、搜索结果等无收录价值的动态页面。
• 阻止爬虫抓取图片原始文件或临时文件目录，减少服务器压力。
• 配合 Sitemap 指令，在文件末尾声明站点地图地址，方便爬虫发现内容。

SEO 避坑提醒

robots.txt 只控制抓取，不控制索引。如果页面已被外链引用，即使被 Disallow，仍可能以无摘要形式出现在搜索结果中。真正需要阻止索引时，应使用 noindex 元标签。另外，不要用 robots.txt 屏蔽 CSS 和 JS 文件，否则搜索引擎无法正确渲染页面，可能影响排名判断。修改规则后，建议在百度搜索资源平台或 Google Search Console 中测试并提交更新。

总之，robots 是网站 SEO 的基础设施。保持规则简洁、定期检查是否误拦截重要目录，才能让爬虫高效抓取，让优质内容获得应有的曝光。