我们很高兴宣布推出我们的 AI 基础设施控制平面，它被设计为 AI 基础设施的通用操作系统。通过此次发布，我们使 IT 团队和 DevOps 能够更轻松地全面控制其 AI 基础设施，管理复杂环境，最大化计算资源利用率，并为他们的 AI 构建者提供优化的自助服务体验。我们的AI 基础设施控制平面改进了集群管理，支持高性能计算，并提供管理中心和仪表盘，让您对利用率有更多可见性。客户现在可以充分利用 GPU，甚至利用到 GPU 的一小部分，同时密切控制性能和成本。
Scale 和企业客户现在在管理、调度和编排 GPU 计算资源时，可以从更大的控制力、透明度和效率中获益。无论您的环境是本地部署（甚至是气隙环境）、单云、多云还是混合云，我们都支持。AI 基础设施控制平面是 ClearML AI 平台的一部分，旨在简化从探索到生产的整个开发生命周期中的 AI 采用。AI 平台为在任何规模的任何 AI 基础设施上构建、训练和部署模型的团队提供了无与伦比的灵活性和控制力。
从现有计算资源中获取更多价值
AI 构建者和 IT 领导者使用 ClearML 的 AI 基础设施控制平面通过一个单一系统简化 AI 基础设施管理，无论计算资源的规模、复杂性或位置（本地、云端或混合）如何，无论是运行 Kubernetes 还是裸金属。安全的租户隔离是我们的 AI 基础设施控制平面提供的一种方法，旨在帮助大型组织提高共享计算资源的利用率。通过为每个 AI 相关方创建独立、隔离的网络，可以不显眼地密切管理计算分配，不会导致停机或运行 AI 工作负载的问题。您可以根据需求轻松地在租户之间转移计算分配，从而提高整体利用率并减少空闲时间。
您的团队现在还可以采用强大的资源分配策略，通过规则和逻辑控制用户/租户对单个资源的访问，支持层级结构、配额和超额配额，从而避免昂贵的机器闲置。计算资源本身可以使用动态 GPU 分割来在一个芯片上处理多个大小合适的工作负载。我们的客户已成功利用这些杠杆将 AI 吞吐量提高了多达 10 倍。
作为 ClearML AI 平台的组成部分，使用 AI 控制平面使 AI 构建者能够自助服务计算资源，并访问他们已批准的资源来调度和运行工作负载。这也适用于使用 Slurm 和 PBS 等 HPC（高性能计算）工具的组织，他们不仅可以利用其集群处理更多工作负载，还可以通过我们的编排仪表盘获得 ClearML 提供的关于队列和作业状态的额外可见性。
ClearML 真正做到软件和硬件无关。虽然您今天的基础设施可能完全是本地部署的，或位于单个云中，或仅使用 NVIDIA 芯片，ClearML 让您的团队可以灵活选择明天购买什么。
通过高效的云管理控制云成本
云计算本身就很昂贵，需求的增长只会推高每小时的费用。好消息是：ClearML 的 AI 基础设施控制平面通过更有效地利用您的云计算资源来帮助您节省预算。
作为一个无关硬件、端到端的 AI 平台，ClearML 使客户能够使用 AWS、Azure 或 GCP（或全部三个），无论是否包含本地机器。计算资源在哪里并不重要。只要配置正确，ClearML 上的 AI 构建者都能获得同样无摩擦的体验和即时访问。希望节省成本的 AI 团队可以利用专门设计的功能来帮助团队节省云预算，这些功能包括支持 Spot 实例，能够根据可用性选择成本较低的区域，以及使用仅在需要时启动实例并在设定的空闲期后可以关闭的自动伸缩器。
同时拥有本地计算资源的组织可以优先使用这些机器运行 AI 工作负载，并将云资源仅用作溢出，从而最大限度地减少云使用量。
获得更高的可见性和改进的治理
对于拥有复杂计算基础设施的组织，同时可视化所有资源可能具有挑战性。ClearML 的 AI 基础设施控制平面通过为基础设施领导者和管理员提供一个统一视图，使其能够查看所有资源、其状态以及利用率，从而极大地简化了整体治理。ClearML 提供仪表盘（例如我们的编排仪表盘）和报告，用于在宏观层面监控资源，并使团队能够深入了解队列层面发生的情况。
数据监督对于治理至关重要，ClearML 通过其端点监控服务，使团队能够轻松查看哪些模型正在使用以及正在通过其交付数据。您的 AI 团队可以快速评估特定模型端点的实时实例数量，以及正常运行时间、请求和延迟等性能指标。实施安全的租户隔离，以最大程度地保护租户之间的数据和计算资源。
下一步
生成式 AI（或任何 AI）伴随着宏伟的收入目标，但也需要对成本进行重要的现实核算。组织将继续审查其 AI 投资，以了解这些资金是否能带来他们所需的创新。通过提高整个基础设施的可见性和利用率，ClearML 的 AI 基础设施控制平面使 ROI 计算更加容易。访问我们的网站了解更多，或联系我们的销售团队申请演示。
