AI 代理进不了你的站，多半是防护误伤

AI搜索优化 常被忽略的一环不在内容，而在门口：防护软件把 AI 代理挡在站外，站长却以为自己在欢迎它们。2026 年 11 月 4 日，英国转化率机构 Blend Commerce 公布 200 家英美零售商的审计：14.5% 的站点两次拒绝了一个自动购物代理，而能读到 robots.txt 的 24 家，全部放行 ChatGPT、Perplexity 与 Claude 的爬虫。挡住代理的不是政策，是站点自己装的安全软件。

一次审计，把「AI 能不能用你的站」拆成四层

Blend Commerce 在 2026 年 9 月 8 日至 15 日让自家代理访问 200 家英美零售商。样本按 20 个行业各取 10 家，英美各 5 家，再分大型 2 家、中型 2 家、新兴 1 家。17 项检查归入四层：可触达、可发现、可理解、可交易，合计 100 分。

结果平均 65 分：母婴 88 分排在前，家具 81 分，时尚只有 49 分。这套分层的价值在于把含糊的「AI 友好度」拆成四个可验证的问题：代理进得来吗、找得到产品吗、读得懂参数吗、能不能走到成交。

供给侧平均 65 分，而 YouGov 同批调查显示，英国计划在黑色星期五用 AI 购物的比例已从 2025 年的 19% 升到 34%。

门口那 29 家：robots.txt 说欢迎，防护软件说不

29 家两次拒绝代理，拒访率随体量递减：大型 20%、中型 15%、新兴 2.5%。名单里有 Home Depot、Best Buy、Macy's、Tesco、Argos、Next。另有 Saks Fifth Avenue 等四家连 robots.txt 请求都失败，直接 0 分。

创始人 Adam Pearce 的解释是：这些零售商多半早就告诉过 AI 公司「欢迎代理」，然后门口的安全软件把它拒了。

机制不复杂。robots.txt 是写给爬虫看的声明，bot protection 判断的是这段自动化流量是否被允许——Cloudflare 挑战页、Bot Fight Mode、五秒盾都属于后者，只按指纹与来源放行，不读声明。两套系统互不对齐。

这份审计也说明了边界：用的是自家代理而非 ChatGPT 或 Gemini，测的是「站点如何对待不认识的自动化流量」；17 项检查权重未公开。当框架稳妥，当分数不妥。

进门之后：82% 有结构化数据，18% 有 GTIN

能读到商品页的 171 家里，82% 铺了 Product 结构化数据，76% 写了价格。但让代理能比价的字段很薄：18% 带 GTIN、22% 带运费、20% 带退货政策。没有 GTIN，代理看到两个页面的同一件货只能靠猜。

可交易层差距更大：200 家里只有 38 家有实时结账端点，37 家跑在 Shopify，Shopify 店铺均分 91、其他平台 59。这条要打折看——Blend 自认与 Shopify 有商业利益关联。

外贸独立站怎么做 AI搜索优化：四层不变，字段要换

框架可以搬，字段不能照抄。B2B 外贸站没有 GTIN，也没有结账端点，硬套会得出一堆无意义的低分。我们给外贸站做模板时的顺序固化在 /dulizhan/website-construction/，对应到这张表是这样：

• 可触达：用 curl 加普通浏览器 UA 抓首页与一个产品页，看是否返回 403 或验证页。两分钟能查出九成误伤。
• 可发现：robots.txt 明确放行 GPTBot、OAI-SearchBot、PerplexityBot、ClaudeBot，并提交产品 sitemap。
• 可理解：Product 里的 name、image、offers 要与页面一致；用 sku 与 mpn 承担 GTIN 的角色，型号、材质、规格写进文字。
• 商务条款：贸易条款、交付周期、最小起订量、认证写进正文。做成 PDF 或图片，等于代理读不到。
• 可交易：询盘表单与报价入口在轻 JS 下能打开，邮箱与 WhatsApp 用纯链接，别用脚本事件触发。
• 一致性：页面价与结构化数据价对齐。Google 写明错误 GTIN 会导致商品被拒，宁可留空也不要编。

别把「被读懂」和「被引用」混成一件事

Google 在《AI 功能与您的网站》里写明，AI 概览与 AI Mode 不需要额外的结构化数据；Bing 网站管理员指南的说法是，结构化数据「可能有助于更清晰的依据，但不保证可见度或依据流量」。补字段的收益落在代理与商家列表这一侧，不在引文那一侧。

另一组数字说明「出现在答案里」不等于「拿到访问」。Ziff Davis 在 2026 年 11 月 6 日财报电话会上披露，Q3 来自 Google 的自然引荐流量同比下降约 37%，上年同期已降约 23%；其内容在 AI 概览与 AI Mode 中出现约 27 亿次，约为 Google 点击量的 10 倍（点击总量未披露，两数不可相除）。方向清楚：曝光在涨，访问在跌。

所以验收指标不是曝光量，而是三件事：代理能读到几个产品页、读到的参数与页面是否一致、读完有没有留下报价请求。AI 搜索排名这类说法落到合同里，换成可核对的项更稳妥，口径见 /dulizhan/seo-service/。

常见问题

robots.txt 明明放行了，代理为什么还是进不来？

因为声明与拦截是两套系统。Cloudflare 挑战页、Bot Fight Mode、WAF 规则都不看 robots.txt，只按流量特征判断。用普通 UA 抓一次首页即可验证：返回 403 或验证页就是被拦。

B2B 站没有 GTIN，要不要编一个？

不要。Google 说得很直白：错误的 GTIN 会让商品被拒，拿不准就不要填。用 sku、mpn 加型号说明替代，代理同样能分辨两个页面是不是同一件货。

这份零售审计能直接套到外贸站吗？

四层框架可用，分数不可套。样本是英美零售、目录型商品、B2C 场景；B2B 的「可交易」是拿到报价，不是走完结账。