Ai Agents GEO SEO

美联航给AI代理设了道门槛,搜索抓取却照旧开放

Danny
摘要

美联航更新条款,允许搜索引擎抓取公开页面,但AI代理需书面许可,并禁止用其数据做AIgroundin

美联航更新了网站使用条款。按照searchenginejournal.com的报道,新条款允许搜索引擎继续索引其公开页面,但AI代理访问需要事先获得书面许可,同时禁止将其数据用于AI grounding。这三件事被放在同一份条款里,指向的其实是同一个问题:谁可以读这些页面,读完之后拿去做什么。

搜索抓取和AI代理被拆成了两件事

过去十几年,网站条款里关于自动访问的表述基本是笼统的,搜索引擎爬虫、比价工具、监控脚本、AI抓取器往往被一锅端。美联航这次的做法是把它们分开处理:搜索索引这条通道保持开放,AI代理这条通道改成许可制。

这个区分的实际意义在于,网站开始按「访问目的」而不是「访问方式」来划线。搜索引擎抓取带来的是搜索流量,对航司这类依赖直销渠道的业务是正向的;AI代理的用途则不确定,可能是替用户查航班,也可能是把票价和航线数据拿去训练或生成答案。前者是引流,后者可能直接截走用户,甚至替代掉官网本身的信息入口。条款把两者拆开,等于承认了这两种访问在商业上不是一回事。

对做SEO的人来说,短期影响接近于零。公开页面仍然可被索引,排名和收录逻辑不变。真正变化的是那些把AI代理当成新流量入口来规划的人。

「书面许可」这条要求,执行起来比写下来难

条款层面要求AI代理取得书面许可,技术上怎么落地是另一回事。AI代理访问网站时未必带着可识别的标识,很多抓取行为来自分布式IP,和普通用户请求混在一起。网站可以靠robots.txt、WAF规则、UA识别做初步筛选,但这些手段对刻意伪装的访问基本无效。

所以这条条款更现实的作用是法律和谈判层面的:一旦发现某家AI公司大规模取用其数据,美联航有了明确的条款依据去主张权利、要求下架或谈授权。它是一张底牌,不是一道技术闸门。理解这一点很重要,否则容易误判成「网站已经能拦住AI爬虫了」。

禁止AI grounding这一条同样如此。grounding指的是让模型在生成答案时引用或依据特定来源的数据,条款禁止的是这种用法,而不是禁止模型「看过」这些页面。这两者在技术上和举证上都很难切干净,条款的价值仍然在于事后追责的立场。

航司先动,说明数据授权正在变成行业议题

美联航不是内容出版商,它的核心资产是航班、票价、航线、常旅客规则这类结构化程度高、时效性强、商业价值直接的数据。这类数据恰恰是AI代理最想拿来用的:帮用户比价、规划行程、回答「我的里程能不能升舱」。

如果AI代理能直接给出答案,用户就不必打开航司官网,航司失去的不只是广告曝光,还有追加销售和会员转化的机会。条款更新可以看作是对这种前景的提前设防。searchenginejournal.com的报道没有披露美联航是否已经与任何AI公司达成授权安排,也没有说明许可的申请流程和条件,这些细节目前都不清楚。

值得关注的是这个动作会不会被同行跟进。旅游和航空是AI代理落地最快的场景之一,一旦有一家主要航司把「AI代理需授权」写进条款,其他航司在法务上就有了参照。对做GEO的人来说,这意味着未来评估一个站点能否被AI引用时,robots.txt之外还得多看一眼使用条款。

接下来该盯什么

第一是许可机制是否公开。如果美联航真的开放申请,条件、费用、覆盖范围会直接影响AI搜索产品能引用哪些航司数据。第二是条款是否配套技术措施,比如是否更新robots.txt、是否部署针对AI爬虫的识别规则。第三是这类条款在实际纠纷中是否被援引,那才是检验它有没有牙齿的时刻。

对站长和营销人员的现实建议是:如果你的站点数据具备直接商业价值,且AI代理的引用可能替代用户访问,现在就该想清楚自己的立场,而不是等条款模板从别处抄过来。搜索引擎抓取和AI代理访问是两种不同的交换关系,把它们写在同一句话里,迟早会出问题。