随着人们对 Arm 高性能处理器（针对 AI 进行了优化）的兴奋，我们的团队希望测试 ClearML 与基于 Arm 的 CPU 计算搭配 GPU 时的工作轻松程度，并与 x86 芯片搭配 GPU 进行比较。
我们决定在 AWS 上使用基于 Graviton 的 EC2 实例运行一个项目，并选择了与 NVIDIA T4G Tensor core GPU 配对的 AWS Graviton2 处理器，以实现高效推理。Graviton2 芯片围绕 Arm 的 64 位 Neoverse N1 CPU 构建，该平台是 Arm 专门为高效高性能云计算工作负载而设计的。通过成功使用 AWS Graviton™编排 ClearML 工作负载，我们可以自信地确认 AI 构建者可以无缝利用更经济实惠的 AWS 计算选项。
在搭载基于 Arm CPU 的 AWS Graviton 上测试 ClearML
在设计我们的实验时，我们决定使用我们自己的 AWS 自动伸缩器在 ClearML 的 AI 平台上，于 EC2 G5g 机器上运行一些模型训练。为了设置我们的实例，我们找到了与 AWS 实例类型匹配的正确的 Amazon Machine Image (AMI) 并设立了预算（就像我们在任何其他 x86 AWS 实例上需要做的那样）。
设置好计算和编排后，我们运行了训练作业。它毫无瑕疵地顺利运行。尽管这是我们预期的结果，但看到 ClearML 在任何硬件上都能工作的确认，感觉仍然很棒。事实证明，AI 构建者可以使用基于 Arm 的 CPU，在成本更低的 AWS Graviton 实例上无缝运行作业！
幕后：实现神奇效果的架构
尽管它工作起来像魔法一样，但在幕后却做了很多工作，使整个过程无缝进行。一旦用户设置好编排和实例，ClearML 与芯片无关的设计就会自动完成其余部分，通过匹配容器并在运行时引入支持硬件所需的 AI 框架。NVIDIA 提供了类似于其 x86+GPU 产品的 Arm+GPU 软件解决方案。这涵盖了 Arm 添加到包括 PyTorch 在内的机器学习框架的所有 CPU 优化。这些改进使用了 Arm Kleidi 技术，该技术在 Arm Compute Library 和 Arm KleidiAI Library 中可用。
在 ClearML 上，AI 构建者对其整个 AI 工作流程拥有完整的可见性。除了实时监控训练作业的进行情况外，ClearML 还将代码库和数据带入容器中，并实时监控实例本身的性能，显示指标、GPU 利用率、CPU 利用率和网络监控统计数据。
使用 ClearML + 搭载基于 Arm CPU 的 AWS Graviton 的优势
使用 ClearML，AI 构建者受益于一个与芯片无关的平台，该平台可在任何 CPU 或 GPU 上工作，并可利用更适合其特定需求且更高效的计算选项。AWS Graviton 处理器旨在以更低的价格提供高性能，使用 Graviton EC2 实例的 AI 团队与基于 x86 的 Amazon EC2 实例相比，可以节省高达 20% 的成本。此外，Graviton 处理器比其他架构上的可比 EC2 实例节省高达 60% 的能源。
总结
正如我们亲身经历的那样，使用 AWS 更具成本效益的计算没有任何障碍。使用 Graviton 计算的体验与在 x86 上运行完全相同，对于任何其他 Arm 处理器也是如此。
要了解更多关于 ClearML 的信息，请申请演示，与我们的销售团队交流。有关在 Arm CPU 上部署 AI 的更多信息，了解更多关于 Arm Kleidi 的信息。
请继续关注我们下一篇关于 Arm + ClearML 的博客，我们将分享我们使用 llama.cpp 在基于 Arm 的机器上运行模型的经验。
