robots.txt 是什么?网站 SEO 与爬虫管理指南
📍 WDQWDWQD987AAAAA:216.73.216.206
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /9cec6b3312d1.html
📄
robots.txt 是网站根目录下的纯文本协议文件,用于告诉搜索引擎爬虫哪些页面可以抓取、哪些应当避开。它是搜索引擎优化(SEO)与网站运维中的基础配置,直接影响索引效率与站点安全。
robots.txt 的作用与语法
文件通过 User-agent、Allow 和 Disallow 指令组合规则。例如允许所有爬虫访问全站可写为 User-agent: * 与 Allow: /。需要强调:robots.txt 只是爬虫协议,并非访问控制手段,敏感内容仍应使用密码或权限验证保护。
- User-agent:指定规则适用的爬虫。
- Allow:允许抓取的路径。
- Disallow:禁止抓取的路径。
- Sitemap:向爬虫声明站点地图位置。
常见配置误区
- 误用 Disallow 阻止索引:被封禁的页面仍可能通过外链被索引,只是无法抓取内容。
- 规则冲突:Allow 与 Disallow 同时命中时,通常更具体的规则优先。
- 屏蔽静态资源:阻止 CSS、JS 会导致搜索引擎无法正确渲染页面。
SEO 最佳实践
建议只屏蔽后台、搜索参数页、重复筛选页等低质路径,并保留重要栏目与资源可抓取。上线前使用搜索引擎的 robots.txt 测试工具验证,定期检查抓取统计中的封禁提醒。正确配置 robots.txt 可提升爬虫预算利用率,让优质内容更快被发现。