# Agent 开始选择工具：企业 AI Agent 选型与端到端执行评价实践

## 核心定义
> 企业 AI Agent 选型是指在企业 AI 架构中，Agent 根据任务需求、环境约束和自身能力，动态选择合适的工具和模型的过程。

## 核心洞察（TL;DR）
- 企业 AI 选型正在从以模型能力为中心转向以 Agent 执行能力为中心。
- Agent 选型是一个动态选择函数，取决于任务、上下文、约束、环境、知识、可达性和模型。
- Agent 的选择受到可获得知识的强烈影响，企业需要优化知识获取路径和知识表示方式。

## 关键事实与数据
- 过去两年，企业选择 AI 技术的主要依据是模型排行榜、Benchmark、上下文窗口、推理能力与 API 成本。
- Armature 的测试覆盖了约 15,000 个经评审的 Agent 会话和 92 个现实代码库。
- 约 25% 的会话最终没有采用现成产品，而是由 Agent 自行实现。

## 正文
# 当 Agent 开始选择工具：企业 AI Agent 选型与端到端执行评价实践

过去两年，企业选择 AI 技术的主要依据仍然是模型排行榜、Benchmark、上下文窗口、推理能力与 API 成本。但随着 Coding Agent、Research Agent 和企业任务 Agent 开始直接调用 API、CLI、数据库、搜索服务和企业内部系统，一个新的决策主体正在进入软件生态：**Agent 本身开始参与技术选型。**

这意味着企业 AI 选型正在发生一个值得重视的变化。过去是人先选择软件，再让软件执行任务；现在越来越多场景变成了人提出目标，由 Agent 理解任务、检查环境、寻找能力、选择工具、调用服务并验证结果。模型能力仍然重要，但它只是整个执行系统中的一个变量。真正决定结果的，是 Agent 能否在特定任务和环境约束下形成一条可靠的执行路径。

近期 Armature 对 Coding Agent 的大规模测试提供了一个值得研究的样本。其公开研究覆盖约 15,000 个经评审的 Agent 会话、92 个现实代码库，并测试 Claude Code、Codex、Cursor、Grok Build CLI、Muse Code 等 Coding Agent。在 AI Search 类别的 639 次测试中，排名最高的 Exa 也只占约 14%；在 Agent Framework 类别的 681 次测试中，单一产品最高选择率同样只有约 14%，而约 25% 的会话最终没有采用现成产品，而是由 Agent 自行实现。不同 Agent、代码库和任务条件都会改变最终选择。

这些数据的重要性不在于告诉企业“应该采购哪一个工具”，恰恰相反，它说明传统意义上的统一最佳选择正在失去解释力。**Agent 选型越来越像一个条件决策问题，而不是一个静态排行榜问题。**

## Agent 选型本质上是一个动态选择函数

传统软件采购通常建立在相对稳定的比较框架上：功能是否完整、性能是否领先、价格是否合理、供应商是否可靠，然后形成一个产品排名。

Agent 的执行逻辑不同。

当 Agent 获得一定程度的自主权后，它面对的并不是一张预先整理好的产品表，而是一个具体任务。例如“给这个应用增加认证”“为当前系统接入搜索”“部署到满足预算要求的云服务”“增加一套评测机制”。Agent 随后需要结合当前代码库、已有依赖、可访问文档、工具接口、成本限制以及自身掌握的知识寻找执行路径。

因此可以将 Agent 的工具选择抽象为一个动态函数：

**Selection = f（Task, Context, Constraints, Environment, Knowledge, Accessibility, Model）**

其中 Task 是需要完成的任务；Context 是当前上下文；Constraints 包括成本、安全、合规、性能等约束；Environment 是已有代码、系统和基础设施；Knowledge 是 Agent 能够获得的信息；Accessibility 则决定某项能力是否容易被发现、理解和调用。

这个模型解释了为什么相同需求在不同 Agent、不同代码库乃至不同提示条件下会产生不同结果。Armature 的认证服务测试就是一个例子：在 724 个会话中，Auth0 总体选择率约为 25%，但 Claude Code、Codex、Cursor 的首选并不一致；代码库和 Agent 本身都会影响最终决策。

因此，对于企业而言，问题已经不只是“哪个 Agent 最好”，而应该进一步变成：**在我们的任务、数据、系统、权限和成本条件下，哪个 Agent 与哪组能力组合能够以更高成功率、更低成本完成任务。**

这也是哈希泰格在企业 Agent 项目中逐渐形成的一项基本判断：**Agent 的评价对象应该从模型能力转向任务执行能力。**

## Agent 的选择受到“可获得知识”的强烈影响

进一步分析这些实验可以发现，Agent 的工具选择并不是凭空产生的。Agent 所看到的信息空间，在很大程度上定义了它能够形成的候选集合。

目前 Coding Agent 获取技术知识大致存在三个主要路径。

第一类是模型已经掌握的知识，包括训练阶段形成的产品、API、框架和编程模式认知。它提供了一个初始先验，但这些知识可能存在版本滞后，因此成熟 Agent 通常还需要进一步验证。

第二类是外部检索。Agent 可以通过 Web Search、官方文档、开发者网站和其他公开资源寻找当前信息。Armature 的实验尤其值得注意：在不同类别中，Codex 与 Claude Code 使用 Web Search 的比例存在明显差异。例如在 Agent Framework 测试中，Codex 约 91% 的会话使用了 Web Search，而 Claude Code 只有约 7%。这意味着不同 Agent 甚至拥有不同的“知识获取习惯”。

第三类是当前工程环境。package.json、requirements.txt、lockfile、README、AGENTS.md、配置文件、已有 SDK、代码结构以及历史实现，都会成为 Agent 判断“当前系统应该使用什么”的重要证据。OpenAI 的 Codex 文档也明确描述了 AGENTS.md 的分层加载机制：Agent 会从全局环境到仓库目录逐层读取项目指令，并把这些信息加入任务上下文。

由此可以得到一个非常重要的企业 AI 工程结论：

**Agent 能够使用什么，不仅取决于它理论上知道什么，更取决于任务发生时什么知识能够以足够低的成本进入它的上下文。**

这使“Knowledge Accessibility”成为企业 Agent 基础设施中一个此前容易被忽略的指标。

## 从软件可用性进一步走向 Agent 可达性

传统软件工程主要关注 Availability：API 是否在线、数据库是否正常、服务能否访问。

Agent 时代还需要增加另一层指标：**Agent Accessibility。**

一个 API 可以保持 99.99% 的在线率，但如果 Agent 找不到它、不知道什么时候应该调用、不理解参数语义、不清楚权限边界，或者无法判断调用结果是否正确，那么从 Agent 的视角看，这项能力实际上仍然是不可用的。

因此，我们可以把企业能力对于 Agent 的可用过程进一步拆解为五个阶段：

**Discover → Understand → Select → Execute → Verify**

Agent 首先需要发现能力存在；随后理解它解决什么问题、需要什么输入以及受到什么约束；然后在多个候选能力之间完成选择；之后正确调用并执行；最后验证输出是否满足任务目标。

这五个阶段中的任何一个环节失败，都可能导致端到端任务失败。

这也是为什么仅仅建设一个企业知识库、API Gateway 或 MCP Server，并不能自动意味着企业已经完成了 Agent Ready 改造。它们分别解决知识存储、接口访问或工具连接问题，却没有天然保证 Agent 能够完成从任务理解到结果验证的完整链路。

真正需要优化的是：

**Task → Knowledge → Capability → Execution → Verification → Outcome**

这条链路的整体成功率。

## 技术文档正在成为 Agent 执行基础设施的一部分

过去开发者文档主要解决一个问题：让人能够理解和使用软件。

现在它开始承担第二个任务：让 Agent 能够理解和使用软件。

这两种需求并不完全相同。人类开发者可以浏览导航、阅读长篇介绍、跨页面寻找示例，并在理解不完整时通过经验进行补偿。Agent 更依赖结构明确、语义稳定、能够直接进入上下文的知识表示。

因此，Markdown 文档、机器可解析 API 描述、清晰的 Quick Start、结构化 FAQ、版本信息、能力声明以及 Agent 指令文件开始变得更加重要。

`llms.txt` 就是这种变化的代表之一。该社区规范建议网站通过统一位置提供面向 LLM 的 Markdown 内容索引，使 Agent 能够快速找到高价值资料。其 2026 年更新的说明显示，已经有多种文档平台和 CMS 提供相关生成能力。需要说明的是，`llms.txt` 目前仍属于社区规范，而不是 W3C 或 IETF 正式标准，因此企业更适合把它理解为 Agent-friendly content architecture 的一种实践，而不是唯一标准。

从企业知识工程视角看，这背后真正重要的变化不是文件格式，而是**知识消费者发生了变化**。

过去企业知识主要服务员工。

后来开始服务搜索引擎。

现在还需要服务 Agent。

因此企业知识治理将逐渐从“内容是否存在”升级到“知识是否能够进入任务执行”。

## Agent Ready 将成为软件产品新的工程属性

如果 Agent 正在成为软件的使用者、集成者和采购建议者，那么 SaaS、API、开发者工具和企业内部服务未来都会面对一个新的产品问题：

**我的产品是否 Agent Ready？**

这并不等同于“有没有提供 API”。

一个真正 Agent Ready 的能力至少需要同时满足几个条件：Agent 能发现它；能够快速理解其适用场景；能够判断输入输出和约束；能够低成本完成调用；错误信息足够明确；结果可以验证；版本和权限边界清晰；在真实工程环境中具有足够低的集成摩擦。

Armature 的实验提供了一个很有意思的证据。在多个类别中，一些产品被 Agent 多次纳入候选，却很少甚至从未成为最终选择。例如在 AI Search 测试中，Serper 被提及 73 次却没有成为最终选择；在 Agent Framework 测试中，一些知名框架同样频繁进入候选集合，却没有最终胜出。

这意味着未来软件产品可能需要区分两个不同指标：

**Agent Awareness**：Agent 是否知道你。

**Agent Adoption**：Agent 在真实任务中是否愿意使用你。

两者之间存在一个非常重要的“选择漏斗”。

从知道产品，到考虑产品，到选择产品，再到成功完成集成，每一层都存在损耗。因此，对 API 和开发者工具厂商而言，传统 SEO、Developer Marketing 和文档运营之外，可能逐渐出现一种新的产品运营对象：**Agent Adoption Funnel。**

## 企业内部同样需要建设 Agent Capability Catalog

这一逻辑不仅适用于软件厂商，对大型企业内部系统甚至更加重要。

许多企业已经拥有数百甚至数千个 API、数据服务、内部平台、知识库、自动化脚本和业务系统。过去这些能力主要通过门户、文档、培训和员工经验进行传播。

当 Agent 开始参与工作，这种组织方式会产生明显瓶颈。

Agent 不知道哪些系统存在，不知道哪个 API 是推荐版本，不知道不同服务之间的能力边界，也无法理解企业内部约定和隐含业务规则。结果往往是：企业拥有大量数字能力，但 Agent 只能使用其中很小的一部分。

因此，企业未来需要的不只是 API Catalog，而更接近 **Agent Capability Catalog**。

其中记录的不应只有 Endpoint，还应该包括能力语义、适用任务、输入输出 Schema、权限要求、成本、延迟、可靠性、依赖关系、失败处理、示例、禁止条件以及验证方式。

这样，Agent 面对一个任务时，才能从“我要完成什么”反向检索“企业有哪些能力可以帮助我完成”。

从这个角度看，企业知识管理、API 管理、工具注册、权限治理和 Agent Runtime 最终会在任务执行层逐渐汇合。

## 从模型中心转向任务中心

哈希泰格在企业 AI 项目实践中越来越强调一个简单原则：**先定义任务，再选择模型和 Agent。**

传统企业 AI 项目通常从技术开始讨论：

应该使用哪个模型？

选择哪个 Agent？

部署哪个框架？

采用哪个向量数据库？

这些问题当然需要回答，但如果它们发生在任务定义之前，就很容易产生“拥有技术，却找不到稳定业务价值”的问题。

更合理的顺序应该是从业务任务开始。

企业首先定义需要解决的问题、当前状态、目标状态、约束条件以及成功标准，然后进一步拆解任务所需知识、数据、工具、权限、模型能力和验证机制，最后才形成 Agent 与技术栈选择。

因此，一个企业 Agent 的完整评价对象应该是：

**Problem → Task → Agent → Knowledge → Tools → Execution → Verification → Outcome**

只有最后的 Outcome 才真正对应企业价值。

这也是为什么单独比较模型 Benchmark 或 Agent 排行榜越来越不足以支撑企业采购决策。模型推理能力更强，并不自动意味着任务成功率更高；Agent 使用更多工具，也不意味着结果更好；执行步骤更少，也未必意味着整体成本更低。

企业真正应该测量的是完整任务链路。

## 企业 Agent Eval 应从“回答质量”升级到“执行质量”

当评价对象变成端到端任务后，Eval 的方法也必须发生变化。

例如，让 Agent 完成“为现有企业应用增加身份认证”这一任务，仅评价最终代码是否能够编译显然不够。企业还应该观察它是否正确理解现有架构，选择了什么方案，为什么选择，是否引入不必要依赖，是否遵循安全策略，是否正确处理 Secret，测试是否通过，以及最终系统是否真正满足业务要求。

因此，哈希泰格更倾向于把企业 Agent Eval 分成几个连续层次：

**Task Success**：任务是否最终完成。

**Correctness**：结果是否正确。

**Tool Selection Quality**：工具选择是否适合当前任务与环境。

**Execution Reliability**：执行过程中是否稳定，失败后能否恢复。

**Constraint Compliance**：是否满足安全、权限、成本和业务约束。

**Cost & Latency**：完成一次成功任务实际消耗多少 Token、API、计算资源和时间。

**Human Intervention Rate**：需要多少人工确认、纠错和接管。

**Regression Stability**：模型、Prompt、工具或环境变化之后，成功率是否仍然稳定。

最终可以形成一个比“模型得分”更有企业意义的指标：

**Successful Task Cost = Total Execution Cost / Successfully Completed Tasks**

企业真正购买的不是 Token，也不是 Benchmark 分数，而是**可靠完成任务的能力**。

这也是为什么在 Armature 的 Eval 工具测试中，“自行实现”本身就占到约 34% 的会话，而排名最高的单一 Eval 产品约为 31%。对于 Agent 而言，购买、调用现有工具和自己完成实现，本身就是同一个任务空间里的不同候选路径。

## Agent 选型最终会变成组合优化问题

进一步推演，会发现未来企业很可能不会长期依赖一个统一 Agent。

研发任务、数据分析、知识检索、客户服务、财务流程、SRE、合同分析所需要的模型能力、上下文、工具和风险控制机制完全不同。

因此，企业 AI 架构最终面对的可能不是：

**Which Agent should we buy?**

而是：

**Which Agent configuration should execute this task under these constraints?**

这里的 configuration 包括模型、Prompt、Context、Knowledge、Tools、Memory、Permissions、Verifier 和 Runtime Policy。

于是 Agent 选型会进一步演化为一个运行时优化问题：

**Task → Evaluate → Route → Execute → Verify → Learn**

简单任务交给成本更低的模型和 Agent；高风险任务使用能力更强的模型并增加 Verification；特定领域任务调用领域知识和专业工具；执行失败后自动升级模型、补充上下文或更换工具路径。

企业真正需要建立的因此不是一张固定的“最佳 Agent 榜单”，而是一套持续运行的 **Agent Evaluation & Routing System**。

这与传统云计算的演化非常相似。企业最终并不会争论“哪一台服务器最好”，而是建立调度系统，根据任务类型、资源、成本和 SLA 动态分配计算。

Agent 很可能也会沿着类似路径发展。

## 从“软件市场份额”走向“Agent 选择份额”

对于 SaaS、API 和开发者工具公司，这种变化还会产生更深远的商业影响。

过去软件竞争的核心是获得人的注意力：搜索排名、品牌认知、开发者社区、销售渠道和产品体验共同决定市场份额。

未来可能增加另一个越来越重要的变量：

**Agent Selection Share。**

也就是当 Agent 面对相关任务时，一个产品进入候选集合并最终被调用的概率。

这个指标与传统市场份额并不完全一致。一个在人类开发者中拥有较高知名度的产品，如果文档复杂、版本信息混乱、集成步骤过长或者无法被 Agent 快速验证，可能在 Agent 执行环境中处于劣势。反过来，一个品牌规模较小但 API 清晰、Quick Start 可直接执行、错误反馈明确、SDK 稳定的产品，则可能获得更高的 Agent 采用概率。

因此，未来产品竞争的一部分会从：

**让用户记住我**

逐渐扩展到：

**让 Agent 在正确的任务中选择我。**

这并不会替代品牌、销售和开发者关系，但会增加一条新的软件分发路径。

## 企业 AI 转型正在进入“任务执行基础设施”阶段

过去几十年的企业数字化，大体经历了信息电子化、业务系统化、数据平台化和云服务化。

生成式 AI 最初延续的仍然是信息范式：搜索、总结、问答、写作、知识检索。

Agent 带来的变化在于，AI 开始从信息处理进入任务执行。

一旦 AI 开始执行任务，它就必须面对真实世界的软件环境：需要寻找知识、选择工具、申请权限、调用 API、处理错误、验证结果，并承担执行成本。

于是企业 AI 基础设施的核心问题也随之变化。

过去企业问：

**AI 知道什么？**

现在还需要问：

**AI 能做什么？**

下一阶段则需要进一步问：

**AI 在什么条件下，能够以可接受的成本、风险和成功率可靠地完成什么？**

这三个问题分别对应 Knowledge、Capability 和 Execution。

而真正成熟的企业 Agent 架构，需要把三者连接起来。

## 结语：企业未来管理的不是 Agent，而是任务完成能力

Agent 开始自主选择工具，看似只是 Coding Agent 生态中的一个技术现象，实际上揭示了企业 AI 更深层的结构变化。

模型、Agent、知识库、API、MCP、Skills、Plugins 和企业系统最终都只是能力节点。真正把这些节点连接起来的是任务。

因此，企业 AI 转型的核心资产将逐渐从“拥有多少模型和 Agent”，转向三个更可衡量的能力：

**企业能够让多少真实任务被 Agent 理解；**

**Agent 能够访问多少完成任务所需的知识与能力；**

**这些任务能够以多高的成功率、多低的成本和多可控的风险被完成。**

当这套体系建立起来之后，模型可以替换，Agent 可以替换，工具也可以替换，而企业积累下来的任务定义、能力目录、执行轨迹、Eval 数据和验证规则会持续保留下来，并形成新的组织智能资产。

这也是哈希泰格在企业 AI 实践中越来越明确的一个方向：企业 AI 建设最终不应该围绕某一个模型或者某一个 Agent 展开，而应该围绕 **Task、Knowledge、Capability、Execution、Evaluation** 建立长期可演进的基础设施。

Agent 不会因为品牌口号而完成任务。

它最终会沿着自己能够发现、理解、调用和验证的路径行动。

而对于企业而言，真正值得建设的，是让正确的知识和能力，在正确的任务、正确的约束和正确的时刻，成为 Agent 最可靠的选择。

## 关注「哈希泰格」服务号

![关注哈希泰格公众号二维码](/logo/qrcode_for_gh_f9203b130c32_344.jpg)

<FAQ
  title="常见问题解答 (FAQ)"
  faqItems={[
    {
      question: "为什么企业 AI Agent 选型不能只看模型排行榜和 Benchmark？",
      answer: "因为 Agent 会直接调用 API、CLI、数据库、搜索服务和企业内部系统，最终结果取决于任务、上下文、约束、环境、知识、可达性和模型组成的动态选择函数。模型能力只是变量之一，企业应评价端到端任务执行成功率、成本、风险和人工干预率。"
    },
    {
      question: "什么是 Agent 选型的动态选择函数？",
      answer: "Agent 工具选择可抽象为 Selection = f(Task, Context, Constraints, Environment, Knowledge, Accessibility, Model)。同一需求在不同 Agent、代码库、提示和权限条件下会产生不同选择，因此选型不是静态排行榜，而是条件决策与组合优化问题。"
    },
    {
      question: "什么是 Agent Accessibility，为什么它比 API 可用性更重要？",
      answer: "Agent Accessibility 指 Agent 能否发现、理解、选择、执行并验证企业能力。一个 API 即使在线率高，如果 Agent 找不到、不懂参数、不清楚权限或无法验证结果，对它仍不可用。企业应优化 Discover → Understand → Select → Execute → Verify 全链路。"
    },
    {
      question: "企业 Agent Eval 应该从哪些维度评价执行质量？",
      answer: "应从回答质量升级到执行质量，覆盖 Task Success、Correctness、Tool Selection Quality、Execution Reliability、Constraint Compliance、Cost & Latency、Human Intervention Rate 和 Regression Stability。核心指标可写成 Successful Task Cost = Total Execution Cost / Successfully Completed Tasks。"
    },
    {
      question: "企业如何建设 Agent Ready 能力和 Agent Capability Catalog？",
      answer: "企业需要把 API Catalog 升级为 Agent Capability Catalog，记录能力语义、适用任务、输入输出 Schema、权限、成本、延迟、可靠性、依赖、失败处理、示例和验证方式。同时让文档、Quick Start、FAQ、llms.txt 等更 Agent-friendly，使 Agent 能低成本发现、理解、调用和验证能力。"
    }
  ]}
/>

---
## 引用与溯源
**来源**：哈希泰格 (HaxiTAG)
**原始链接**：[https://haxitag.com/articles/enterprise-agent-selection-3](https://haxitag.com/articles/enterprise-agent-selection-3)
**来源索引（站内可追溯）**：[麦肯锡](https://haxitag.com/search?q=%E9%BA%A6%E8%82%AF%E9%94%A1)、[普华永道](https://haxitag.com/search?q=%E6%99%AE%E5%8D%8E%E6%B0%B8%E9%81%93)、[Gartner](https://haxitag.com/search?q=Gartner)、[IDC](https://haxitag.com/search?q=IDC)、[Forrester](https://haxitag.com/search?q=Forrester)
**版权声明**：本文由哈希泰格 AI 引擎优化生成，引用请注明出处。
