进入2024年,人工智能继续以惊人的速度发展。大型组织采用人工智能不再是“是否”的问题,而是“有多快”的问题。企业已经意识到,利用人工智能的力量不仅是竞争优势,也是在当今动态市场中保持相关性的必要条件。在这篇博客文章中,我们将探讨企业内部的人工智能,并概述未来一年的六大关键预测。概括来说,它们是:
- 生成式AI的成本将让企业感到震惊
- Prompt Engineering 不会是生成式AI的万能灵药
- 现在人人都在从事AI工作
- 更小、开源的LLM将超越更大、通用的LLM
- 企业将知道要测试哪些用例,但不知道哪些能带来ROI
- 单点解决方案将继续整合,从而偏向端到端平台
话不多说,让我们开始吧!
预测1:生成式AI的成本将让企业感到震惊
ClearML最近对负责其组织生成式AI计划的1000名财富1000强企业C级高管进行了调查。我们提出的一个问题是,受访者在开发、部署、维护和运行企业生成式AI时,考虑了哪些成本驱动因素,作为总拥有成本(TCO)的一部分。
根据调查回答,我们发现大多数受访者认为他们的生成式AI成本主要集中在模型开发、训练和系统基础设施上。例如,与模型工作方式相关的成本——人力资本、运行所需的工具和系统,以及面向用户的应用程序/UI。59%负责AI的高管报告称,工具、系统和基础设施集成成本(API、集成、监控工具等)是首要的AI成本驱动因素。48%报告称模型开发和训练成本(人力资本/人才)是首要成本驱动因素,42%表示用户界面应用程序开发是首要成本驱动因素。
这是公司愿景与现实之间差距的一个极佳例子。我们认为受访者低估了数据可能有多么混乱,以及数据准备所需的繁重工作,同时也低估了用户在全公司范围内的广泛使用成本。值得注意的是,如果他们的公司使用AI即服务,这一点将更具挑战性。
类似地,受访者低估了领域专家与团队协作以确保模型准确且“足够好”以进行内部或外部推广所需的时间。最重要的是,令人震惊的是只有8%的受访者表示他们会尝试通过限制模型和/或访问生成式AI来更好地管理预算,这意味着他们没有考虑运行成本,我们预计这将让他们大吃一惊。
此外,我们之前关于企业生成式AI采用的调查发现,尽管AI和ML采用现已成为企业内部关键的收入和创新引擎,但令人震惊的是,59%的C级领导者资源不足,无法满足业务领导层对生成式AI创新的期望。他们缺乏成功在企业范围内推动采用和创造价值所需的预算和资源。显然,有些事情必须改变。
预测2:Prompt Engineering 不会是生成式AI的万能灵药
Prompt Engineering 非常适合解决非常具体和狭窄的用例,但不幸的是,这无法扩展。如果您使用的是像OpenAI这样的服务,当API改变时,您的提示就会失效。此外,它也无助于在组织各部门推广生成式AI。因此,尽管围绕Prompt Engineering的炒作很高,但由于以下几个原因,它的主导地位可能是短暂的:
- AI模型的进步:未来的AI模型预计将变得更加直观,并且更精通理解自然语言。随着AI研究的进展,这些模型将需要更少明确和精心设计的提示来生成准确且上下文相关的响应。这种对提示依赖性的降低将使Prompt Engineering变得不那么关键。
- 改进的生成式AI能力:新一代AI语言模型,如GPT-4及更高版本,已经展示出增强的提示生成能力。这些模型可以自己生成更有效、更具上下文感知能力的提示,从而减少了通过Prompt Engineering进行手动干预的需求。
- 互操作性挑战:提示的有效性与特定的算法和语言模型紧密相关。这在使用不同AI模型或版本之间的提示时带来了挑战。随着AI模型的持续发展,保持提示兼容性并将其适应新系统将变得越来越繁琐。
- AI工程师角色的演变:虽然Prompt Engineering目前是一项专业技能,但未来的AI系统预计将要求AI工程师的角色发生转变。他们将越来越专注于问题表述和领域专业知识,而不是微调提示。这种转变将降低Prompt Engineering的重要性。
- 复杂性和领域专业知识:许多AI任务需要对特定领域或当前问题有深入的理解。未来的AI从业者将更多地受益于能够表述明确的问题并有效地将其传达给AI系统的能力,而不是完善提示。问题表述将成为一项更持久和多功能的技能。
- 过度强调提示生成:过度强调生成完美提示有时会分散对核心问题本身的注意力。这种过度强调可能会降低人们对创作过程的控制感,并削弱探索创新解决方案的能力。未来,问题表述很可能优先于Prompt Engineering。
- AI生态系统变化:AI生态系统是动态的,并且在不断发展。随着新技术的出现,各种AI相关技能的相对重要性将发生变化。随着AI应用的多元化和成熟,问题表述有望获得更高的地位。
- 增强的用户友好界面:未来的AI系统预计将提供更用户友好的界面,从而减少用户编写复杂提示的需求。这种简化将扩大AI的应用范围,并降低对Prompt Engineering的依赖。
所有这些因素共同表明,Prompt Engineering在AI领域的突出地位可能会随着时间的推移而减弱。取而代之的是,我们相信微调将成为端到端、无关特定LLM方法的一部分,占据中心地位。这种解决方案可以解决多个用例,为您的组织带来规模经济效益,并实现
- 更高的可控性:微调允许企业更有效地让模型遵循指令,例如生成简洁的输出或以给定语言一致地响应。例如,开发者可以使用微调来确保模型在被要求使用某种语言时始终用该语言回应。
- 可靠的输出格式:微调增强了模型一致地格式化响应的能力——这对于需要特定响应格式(例如代码补全或编写API调用)的应用程序至关重要。开发者可以使用微调更可靠地将用户提示转换为高质量的JSON片段,以便与他们自己的系统无缝集成。
- 与品牌对齐:微调是微调模型输出的定性感受(包括其语气)的好方法,使其更好地与公司品牌保持一致。拥有可识别品牌声音的企业可以使用微调来让模型保持其语气的一致性。
最后,微调还使企业能够在保持相似性能的同时缩短提示。早期测试者通过将微调后的指令直接集成到模型中来减小提示的大小,从而加速了每个API调用并降低了成本。
预测3:现在人人都在从事AI工作
当被问及每个业务用例需要有多少用户访问生成式AI模型时,令人震惊的是85%的受访者表示,他们预计在其各自的用例或多个用例中,需要有501到10,000+用户访问生成式AI模型:
鉴于需要访问生成式AI模型的大量用户,了解在测试初步业务用例和推广的第一年,预计将有多少比例的员工使用生成式AI至关重要。
显然,AI业务领导者对生成式AI在其员工队伍中的采用持乐观态度,50%的领导者表示11-25%的员工将在测试或推广的第一年使用生成式AI,另有18%的领导者报告称26-50%或更多员工将使用生成式AI
既然我们知道在测试和推广的第一年预计将有多少比例的员工使用生成式AI,我们想了解推广后的第二年这一比例是多少。AI和ML领导者认为在初始采用的第二年将有额外的跨组织采用,30%的受访者表示预计16-25%的员工将使用生成式AI,50%的受访者表示26-50%的员工将使用生成式AI——另有14%报告称他们预计令人震惊的51-75%的员工将在第二年将其作为日常工作的一部分使用生成式AI
作为AI领导者对内部员工生成式AI采用预测的后续,我们询问他们预计最终将有多少比例的员工使用这项技术。显然,受访者预计生成式AI最终将在用例、部门和业务单元中广泛采用,40%的受访者报告称他们预计其员工中有26-50%最终将在其专业领域使用生成式AI,另有39%表示他们预计其全部员工中有51-75%将使用生成式AI,最后12%表示他们预计最终将有惊人的76%-90%的员工使用生成式AI
预测4:更小、开源的LLM将超越更大、通用的LLM
更小的开源语言模型(LLM)一直在获得发展势头,有几个因素促使它们有可能超越更大、通用的LLM
- 专业化和定制化:更小的开源LLM可以针对特定领域、行业或用例进行定制。与服务于广泛应用的更大模型不同,更小的LLM可以提供更精确和领域特定的结果。这种定制性使它们对于寻求目标语言生成的组织更具吸引力。
- 资源效率:更大的LLM需要大量的计算资源和基础设施,这使得较小的组织或预算有限的组织难以使用。更小的模型可以在适度的硬件上高效运行,从而降低成本并普及先进自然语言处理的访问。
- 更快的训练和推理:更小的LLM训练时间更短,推理速度更快。这种灵活性对于实时应用、聊天机器人和其他交互式系统至关重要,在这些系统中低延迟是优先考虑的。大型模型由于其巨大的体积,通常难以实现高速。
- 减少伦理和环境担忧:通用LLM的巨大规模引发了关于训练此类模型的环境影响和能源消耗的伦理问题。更小的LLM更环保,符合可持续发展目标和伦理考量。
- 社区协作:开源模型依靠社区贡献而繁荣。更小的LLM通常鼓励积极协作,使开发者和研究人员能够持续解决问题和改进模型。强大的社区可以带来快速的进步和微调。
- 隐私和数据控制:更小的模型可以在组织特定数据上进行训练,从而确保数据隐私和控制。相比之下,更大的模型可能需要与第三方共享数据进行训练,这引发了隐私担忧。
- 利基市场和新兴市场:更小的LLM非常适合利基市场或新兴市场,在这些市场中专业知识至关重要。医疗、法律或金融等行业受益于理解其领域特定术语和背景的LLM。
- 低延迟和边缘计算:边缘计算(处理发生在更靠近数据源的地方)受益于更小的LLM,因为它们对资源的要求更低,响应时间更快。这对于IoT设备和自主系统等应用非常有用。
- 多样性和包容性:更小的LLM可以支持更大的通用模型可能忽略的语言和方言。这种包容性对于保护语言多样性和支持代表性不足的语言至关重要。
- 实验和研究:更小的LLM可以作为新想法和研究的试验场。研究人员和开发者可以在更容易管理的模型上更有效地尝试创新方法和语言理论。
总而言之,更小的开源LLM在定制性、效率和社区协作方面提供了实际优势,使其在特定用例中脱颖而出,并有可能超越更大、通用的对应模型。如果您的公司希望利用这些优势,请申请ClearML的生成式AI平台ClearGPT的演示。
预测5:企业将知道要测试哪些用例,但不知道哪些能带来ROI
谈到生成式AI的业务用例,大多数受访者强调了五个关键用例,其中43%突出“战略、分析和规划(企业规划、风险管理、财务)”是他们的首要用例,紧随其后的是40%选择“产品中的客户功能”作为他们的首要用例。38%的受访者选择“外部聊天机器人/自动化处理低级任务(客户支持、销售等)”作为关键用例,37%将“内容生成(销售、营销、人力资源等)”标记为关键用例。排名前五的最后一个用例是“为赋能人才(客户支持或销售代表)的内容推荐/生成引擎”,32%的AI领导者将其列为首要优先级
问题是,这些用例中,如果有的话,哪些能够带来组织在AI投资上的回报?在今年我们的第一次调查中,我们发现57%的受访者的董事会期望来财年AI/ML投资能带来两位数的收入增长,而37%期望个位数的增长。与此同时,59%的C级领导者表示他们缺乏成功采用生成式AI所需的预算和资源,这阻碍了价值创造。66%的受访者由于资金不足和人员不足,在量化其AI/ML项目对利润底线的影响和ROI方面面临挑战。而42%需要更多专业的机器学习人员来确保成功。我们很难理解在大多数受访者表示预算不足、无法量化影响且需要更多资源的情况下,两位数的收入增长如何能够实现。
预测6:单点解决方案将继续整合,从而偏向端到端平台
我们2023年的第一次调查发现,88%的受访者表示他们的组织正在寻求跨部门标准化使用单一的AI/ML平台,而不是为不同团队使用不同的单点解决方案。AI单点解决方案市场稳步整合,倾向于采用端到端平台有几个原因:
- 简化集成:许多组织正在寻求全面统一的AI解决方案,以简化AI工具与其现有系统的集成。平台解决方案为各种AI能力提供一站式服务,降低了连接分散工具的复杂性。
- 提高效率:平台提供了更有效的方式来管理和部署AI工具。用户可以从单一界面访问广泛的AI功能,简化工作流程,并减少管理多个独立工具所需的时间和精力。
- 无缝协作:由于AI项目通常需要跨职能协作,平台解决方案促进了不同团队和利益相关者之间的无缝交互。集中平台鼓励知识共享,增强透明度,并促进有效的合作。
- 互操作性:向平台解决方案的转变促进了不同AI技术之间的互操作性。用户可以在同一生态系统中使用各种工具,确保AI生态系统中的兼容性和数据一致性。
- 可伸缩性:AI平台解决方案旨在满足不断增长的需求。它们提供可伸缩的选项,允许组织根据需求的变化扩展其AI能力。这种可伸缩性在动态的商业环境中至关重要。
- 降低复杂性:管理多个独立的AI工具可能令人望而生畏,特别是对于小型企业而言。平台解决方案通过提供集中式仪表板来简化AI的采用,用户可以在其中访问和配置他们所需的工具。
- 成本效益:投资于独立的AI工具可能成本高昂,无论是在购买还是集成方面。平台解决方案通常提供更具成本效益的方法,将多个工具捆绑到一个包中,并且许可费用可能更低。
- 增强用户体验:整合平台提供了一致的用户体验。用户不必在具有不同界面和设置的不同工具之间切换,这使得AI之旅更加用户友好和直观。
- 强大的支持和更新:平台提供商通常提供强大的客户支持和定期更新。这确保了用户可以从单一来源访问最新的AI能力、错误修复和改进。
- 战略重点:通过选择平台解决方案,组织可以将重点从管理大量的AI工具转移到战略性地利用AI促进业务增长。这种转变使他们能够专注于创新和价值创造,而不是工具维护。
- 竞争优势:AI工具市场的整合使组织能够通过有效利用广泛的AI能力来保持竞争力。它赋予他们快速适应不断变化的市场趋势和客户需求的能力。
- 数据协同:平台解决方案可以通过提供一个集中的数据管理中心来促进数据协同。这使得企业能够从数据中获取更深入的洞察,从而促进更明智的决策。
总而言之,AI工具市场向平台解决方案的整合为组织带来了广泛的优势,包括简化的集成、效率、可伸缩性和成本效益。随着AI需求的持续增长,这些平台解决方案很可能保持领先地位,为跨各种行业的AI采用和应用提供整体方法。
下一步
通过使用我们的免费层服务器或自行托管来开始使用ClearML。在此处阅读我们的文档。您可以在我们的YouTube频道上找到更多关于ClearML的深度教程,我们还有一个非常活跃的Slack频道,可以为需要帮助的人提供支持。
有兴趣了解如何在您的组织中利用AI和机器学习吗?申请我们生成式AI平台ClearGPT的演示。如果您需要扩展您的ML管道和数据抽象,或者需要无与伦比的性能和控制,请申请ClearML的演示。