客户概览
随着城市化、航空、大众运输和全球贸易等全球趋势的扩展，相关的安全和商业挑战变得越来越重要。Neural Guard 为安全检查市场提供基于人工智能的自动检测解决方案。Neural Guard 技术通过利用尖端人工智能算法分析安全扫描仪的输出，在 CT 和 X 射线图像中检测特定的高风险物品。
挑战
Neural Guard 团队面临着构建、优化和维护深度学习 (DL) 模型的挑战，这些模型需要识别高分辨率 X 射线图像中的多个独特对象。与处理可即时读取的文本数据不同，图像分析需要非常大的数据集和模型，这些模型需要考虑每张图像在识别、标记和馈送到模型时异常广泛的潜在变异。此外，每台 X 射线或其他检测设备在其输出中都有独特的、细微的偏差，需要注意才能获得高质量的检测结果。更具挑战性的是，即使是“成熟”模型，也需要不断添加新的样本——形状独特的刀具、罕见的枪械型号、自制武器——从而进一步完善模型。简而言之，Neural Guard 的解决方案需要一个持续的、数据密集型的实验过程。
从商业价值的角度来看，Neural Guard 的检测系统有两个主要目标
- 为安全检查机器提供最高质量的检测能力。
- 创建一个尽可能自动化的系统，以处理其将安装在的多个环境的巨大复杂性，同时节省成本。
自然地，管理这种数据集和模型的矩阵需要一个强大的管理平台。它必须足够可扩展，以处理不断增长的数据、安装在数千台机器上的庞大阵列，以及不断扩展的模型集合，因为它们通过管道进行记录、复制、比较、共享、存储和轻松搜索。所有这些，理想情况下，无需大量的 DevOps 工作或数据科学家亲自动手管理这些流程的物流。
虽然创建对象检测模型很重要，但显而易见的是，解决 AI 数据管理挑战是难题中最关键的部分：有效地、准确地处理庞大的数据集，并准备最高质量的数据集，用于对成千上万个不断变化的对象检测模型进行持续训练。
Neural Guard 显然需要一个业界最佳的可扩展解决方案来管理高效 DL 开发所需的管道流程。当他们开始探索各种选项时，他们很快发现很少有平台具有足够的扩展性、全面性，并且易于集成到客户特定的工作流程中。
解决方案
作为第一步，Neural Guard 设计了一个自动化管道计划，该管道能够
- 接收其 X 射线机器生成的图像
- 分析图像以识别对模型有价值的关键图像
- 标注 / 给它们贴标签
- 对标记数据进行 QA / QC（质量保证/质量控制）
- 通过定义总数据的子集来创建数据集，用于针对每个产品线构建的定制模型进行训练和测试
- 运行训练任务
- 比较旧版本与新版本的结果
- 将最佳模型部署到云端和边缘设备
这一挑战的核心在于创建一套系统，使 Neural Guard 能够以非常精细的粒度“拥有”其数据，既能分析现有数据，也能对其进行操作。实际上，他们力求为每台机器和每个对象建立一套去偏、优化的训练数据集。
随着他们的解决方案架构逐渐成形，Neural Guard 意识到他们需要大量依赖特定的软件开发来构建这个管道，其中包括（但不限于）构建他们自己的人工标注管理系统。但他们也意识到，构建核心数据管理部分是一项巨大的任务。幸运的是，他们了解 ClearML，这个实验管理、ML-Ops 和数据管理平台。这是他们发现的唯一能够提供他们所需数据管理能力的商业平台。考虑到所有这些，Neural Guard 着手构建了这个最先进、生产级的数据管道，用于构建、维护和提供多个对象检测模型，所有这些都基于 ClearML。
“使用 ClearML 的数据管理功能对我们来说是一个无价的工具，”Neural Guard 的 CTO Raviv Pavel 解释道，“通过它，我们能够更深入地理解我们的数据和数据需求。例如，我们能够准确衡量的一个主要因素是我们实际需要多少数据。事实证明，当我们能够轻松跟踪和比较多个实验（包括输入数据）时，我们实际需要的数据并没有我们想象的那么多。这对我们来说是一个巨大的成本节约。”
另一个巨大的好处是能够构建一个真正可扩展的持续学习管道。ClearML 负责版本日志记录和数据获取，Neural Guard 只专注于引入更多数据并评估其效益。“能够真正跟踪每个数据集对模型性能的贡献，这一点非常强大，”Pavel 说，“我们能够完全专注于分析结果，而不是花费时间构建支持该过程的基础设施。”
“使用 ClearML …… 我们能够更深入地理解我们的数据和数据需求。”
另一个备受赞赏的好处是 ClearML 灵活、强大且易于与 SDK 和 API 集成。“使用 ClearML 的 SDK 将像更新图像元数据这样繁琐的工作变成了一项简单的任务，”Pavel 解释道，“这是我们系统中另一个重要的组件，我们无需自己设计和构建——它变得与我们系统的其他原生部分难以区分。”
ClearML 还在其他方面进行了集成和定制。例如，实验管理器经过定制，可以向实验添加自定义元数据，并使用 ClearML REST API 扩展现有仪表板，为 Neural Guard 提供特别相关的指标和图表。
当将 ClearML 的数据集管理与实验管理器结合使用以访问所需数据时，这种集成尤其有用；Neural Guard 可以利用相同的代码库，并使用 UI 快速更改使用的数据。再加上 ClearML 还管理本地数据缓存（包括预取数据并确保始终存在最新版本，无需任何手动工作），这为团队选择 ClearML 的决定提供了明证。
Neural Guard 必须考虑的最后一个方面是模型部署。安全领域有其自身的严格法规、限制和约束，因此 Neural Guard 很清楚模型必须安全地留在客户的本地环境中。这一现实带来了一系列具体的挑战，包括权限和版本控制。Neural Guard 利用 ClearML 的模型管理功能轻松识别表现最佳的模型，然后获取并分发到其定制构建的模型部署解决方案。为此，团队构建了一个身份和权限管理系统，并配有部署和更新管道，完全符合其服务的工作流程。
“成功的关键在于构建一个自动化、高质量、可扩展的数据管道。ClearML 极大地提升了我们在所需时间和资源方面的成就。”
成果
Neural Guard 利用 ClearML 获得的益处可以分为三个类别
- 通过不构建自己的数据管理解决方案来节省成本并缩短上市时间。他们估计节省了数十年的工时。
- 在训练、维护和部署多个 DL 模型方面持续节省开支。这些节省大部分归因于无需额外聘请数据科学家，也无需专门大型的 ML 工程和数据工程团队，包括支持 DevOps 人员。
- 向客户提供一流的解决方案。
所有这一切仅仅是由于将 ClearML 用作其训练和部署管道中的核心组件的结果。
“对于一个以具有竞争力的价格提供高质量 AI 检测算法作为其关键客户价值主张的公司而言，成功的核心要素是构建一个自动化、高质量、可扩展的数据管道。ClearML 极大地提升了我们在所需时间和资源方面的成就，”Pavel 总结道，“目前市场上没有与 ClearML 可比的商业解决方案。”
