很抱歉使用了“标题党”的标题，但AI Agent确实是目前热门话题，而且理由充分。随着大语言模型（LLMs）的普及，每个人——从将LLMs用作编程助手的软件工程师到使用AI规划假期的人们——都在寻找新的方式来使用这项技术，而不仅仅是回答问题或搜索知识库。LLMs本质上是统计模型，虽然它们能够执行令人印象深刻的任务，比如像人类一样交谈或从大量数据语料库中检索信息，但由于其统计性质，它们偶尔会出现不可预测性。尽管LLMs在这些任务上表现出色，但它们通常也受限于特定的接口，例如聊天应用、文档分析工具或语音助手，这限制了当前的用例。
但是，如果您的用例既需要LLMs的灵活性，又需要结构化逻辑（如if/else语句）的可预测性，以及连接第三方服务的能力呢？这正是AI Agent发挥作用的地方。它们允许软件工程师结合LLMs的强大能力来处理传统系统之前无法处理的广泛输入。它们与预定义的逻辑配对，该逻辑将LLM用作决策制定的后端，使用确定性逻辑将LLM的输出分桶到Agent可以执行的一组预定义操作中。
您可能会问，这些操作是什么呢？嗯，基本上什么都可以！它是代码，所以您可以随心所欲地使用它。将答案分桶到预定义的一组输出中，调用外部API，激活其他脚本，等等！
AI Agent 的挑战
我们已经讨论了AI Agent的潜力，但我们也需要正视它们伴随而来的显著挑战，Agent开发者必须应对这些挑战。以下是其中一些：
1. 缺乏对 LLM 的控制
许多AI Agent依赖于OpenAI的ChatGPT或Google的Gemini等LLM服务，这些服务就像黑箱。作为开发者，您无法控制模型，而且更新频繁。例如，模型可能会被弃用，迫使您调整代码以适应变化。如果您的Agent依赖于特定的模型行为，这些变化可能会扰乱其功能，增加额外的维护负担。
2. 管理复杂性
构建一个Agent不仅仅是编码；它还需要管理LLM后端、系统提示、防护模型等。这增加了测试的显著复杂性，因为您不仅要验证自己的逻辑，还要确保LLM的行为符合预期并避免生成不期望的输出。此外，您不仅需要对代码进行版本控制，还需要对LLMs、系统提示和其他配置进行版本控制。
3. 监控和控制成本
如果未能密切监控，由LLM驱动的Agent的成本可能会迅速飙升。不仅仅是LLM调用；API调用也会产生费用。如果没有适当的监控和对常见问题（如速率限制）的处理，意外的成本可能会打乱您的预算。
化挑战为机遇
现在我们已经讨论了构建AI Agent的挑战，接下来探讨如何有效地应对它们。
1. 克服外部模型依赖性
减轻对外部模型依赖最直接的方法是部署您自己的LLM。很简单，对吧？当然，构建和提供您自己的模型伴随着其复杂性，但它赋予您完全的控制权。您可以决定何时更新版本，避免意外的弃用，并实现更严格的成本管理。随着开源模型的不断改进，部署或构建自定义LLMs的准入门槛正在稳步降低，这使得它成为更多组织可行的选择。
2. 简化管理复杂性
随着专为生成式AI产品设计的工具兴起，管理变得越来越容易。这些工具正在不断发展，以包含针对AI Agent量身定制的功能，例如改进的成本控制、提示和配置的版本管理，我们预计随着时间的推移，它们会变得更好。
3. 控制成本
随着生成式AI工具和实践普及到主流工作流程中，我们预计会更加重视成本控制，类似于传统软件工程中的FinOps策略。这包括预算阈值的自动化警报、详细的成本报告以及允许团队根据使用模式分配支出的工具。随着时间的推移，这些实践将成为有效管理AI Agent预算不可或缺的一部分。
结论
AI Agent不再仅仅是一个流行词。它们已然存在，并且其受欢迎程度持续增长。随着这个领域的发展，支持AI Agent开发者（尤其是那些部署或开发自己的LLMs的开发者）的工具和实践也将随之演进。有了正确的工具和策略，构建和管理AI Agent的复杂性可以转化为机遇，确保团队能够充分发挥这一强大技术的潜力。
下一步
想了解 ClearML 如何帮助您构建和部署自己的 LLMs 吗？请查看我们的 AI 开发中心文档，或阅读更多关于我们的模型仪表板的信息。如果您想亲身体验其功能，请申请演示，与我们的销售团队联系。
