AI智能体时代的进化之路

Mark Do 暂无评论阅读 4 次

AI智能体时代的进化之路

当前可用的AI与能够长期大规模应用的AI之间存在重要区别。许多公司竭力追求前者，却从未思考他们是否在构建后者。

缺乏纪律性和战略方向的速度是一种负担，而非资产。在构建大规模AI过程中，最困难的不是让模型一次运行成功，而是构建能够持续工作、跨团队和用例扩展并随时间持续改进的系统。

如今的AI系统不仅能进行预测和优化，还能进行对话、推理，并越来越多地采取行动。代表旅行者做出决策的自主系统会对可靠性、治理和责任产生全新的期望。随着AI承担更多此类角色，这些系统运作背后的原则比以往任何时候都更加重要。

多年来，我们已将AI和机器学习(ML)应用于整个旅行旅程——从个性化、排序和推荐，到欺诈预防、客户支持，以及最近的生成式和智能体AI体验。这种深度经验促使我们开发了一套ML和AI原则，以指导我们如何在公司内构建、部署和演进AI系统。

目标很简单：确保我们构建的系统能创造真正的商业价值、具备可扩展性且安全运行。这些原则定义了我们如何衡量、设计、治理和运营我们的系统。

从原则到实践

发布原则是容易的部分。更困难且更重要的工作是将其转化为实际运行机制：团队实际使用的建议、要求、工具和发布流程。

我们已经开始使用”智能体发布”检查点：在推出智能体AI功能前的一套推荐和某些情况下必需的检查。这些检查点将清晰的所有权、基于风险的治理、评估、安全发布和监控等原则转化为对团队的具体期望。

其中一些建议和要求已被自动化并集成到软件开发生命周期(SDLC)中。随着时间的推移，我们的目标是将这些期望融入到我们从头开始设计、评估、批准、发布和监控AI系统的过程中。

成果：衡量真正重要的事物

任何模型的首要测试是它是否改善了业务成果，最终提升了旅行者体验——而不仅仅是改善了技术指标。

将模型与具有业务影响的指标对齐：每个ML工作必须直接关联到关键业务成果或旅行者体验指标。技术优化是有用的中间点，而非最终目标。
优化成本回报率：模型创造的价值必须证明其开发、训练和监控的成本，以及增加的操作复杂性是合理的。倾向于能提供持久影响的解决方案，相对于其运行成本而言。
用强大的基线证明复杂性的合理性：复杂性应通过努力获得，而非默认假设。从一个强大的基线开始：现有的通用模型、简单的启发式方法或现成的解决方案。只有当简单选项确实无法满足要求时，才应转向专业模型或更复杂的架构。
同时要求离线和在线评估：没有任何模型仅通过离线验证就广泛部署，或直接跳转到A/B测试。每个模型必须在离线和在线评估中表现良好。随着时间的推移，我们的离线评估应能可靠地预测我们在在线环境中看到的结果。

设计：构建超越构建团队本身的系统

让模型运行是一个挑战。使其价值超越单一团队或用例是更困难的挑战。

建立在共享基础上；仅在必要时专业化：倾向于使用平台共享的基础设施来实现核心能力、数据表示和模型构建块。专业化应建立在这些基础上，而不是创建孤立的系统，这样当基础改进时，收益就能在整个组织中流动。
将数据作为一等产品对待：模型的质量受其数据质量的限制。我们需要维护强大的管道、清晰的血统、可重现性，以及由明确所有权、清晰模式和其他团队可以依赖的SLAs构建的可重用特征。
优先考虑通用性而非本地优化：当两种方法表现相似时，倾向于选择其学习成果、资产和运行模式可以在团队、品牌和用例间重用的方案。我们不仅应优化本地性能，还应关注改进能在公司内扩散的速度以及随时间累积的效果。
最小化和逐步淘汰手动业务规则：手动规则有时对政策、安全或合规是必要的，但它们应该是明确的并定期审查，永远不应成为弱模型的隐式补丁或永久维护债务的来源。
默认情况下实现可重现性和可追溯性：训练数据、特征、配置、评估结果、部署版本和关键决策都应记录在案并可恢复。这样您可以在几个月后调试生产问题，并在不丢失机构知识的情况下移交所有权。

信任：大规模环境下的所有权、治理和负责任运营

部署AI的标准不仅仅是”它有效吗？”，而是”我们能支持它吗？”信任不是最后才添加的东西，而是通过时间赢得并在我们交付的每个模型的整个生命周期中维持的。

明确分配所有权和责任：每个模型在其整个生命周期内都需要明确的所有权——业务所有者、产品所有者、AI所有者和运营所有者。这些不必是四个人，但责任必须明确。谁对结果负责？如果模型偏离，谁回应？凌晨2点发生事故时谁负责？如果没有这些到位，模型就会无人认领，问题出现时没有人负责。
遵守标准和治理：AI和ML模型必须使用批准的平台并遵守既定的公司标准、发布门禁和治理流程。在这些护栏之外运营需要明确、定义的补救或弃用路径，而不是无限期的例外。
按风险比例进行治理：审查级别、评估严格程度和人工监督应随着模型的影响而扩展。影响数百万旅行者定价或可用性的面向客户的模型，比被小团队使用的内部工具需要高得多的标准。对于高影响、安全敏感或高度自主的系统，从一开始就内置了人工介入检查点。
设计公平性、隐私和透明度：我们主动测试无意识的偏见，建立强大的数据防护措施，并在决策对用户有实质性影响时优先考虑可解释性。这些从一开始就纳入，而不是事后添加。
设计安全发布、回滚和控制：部署是渐进式的，在发布前已准备好回滚路径、故障转移机制和熔断器。安全撤销部署的能力与发布它一样重要。
持续监控和适应：上线后，团队必须积极监控质量、漂移、延迟、成本和业务性能，并在数据变化时重新训练或重新校准。团队应该始终能够解释其模型现在的表现，而不仅仅是发布时的表现。