持续训练
无人机到人工智能再到无人机
随着无人机使用的兴起，获取航拍影像变得前所未有的容易。由此产生的数据可以触发快速有效的行动；消除猜测并提高空中态势感知能力，这对增加利润和削减开支具有深远的影响。
随着无人机使用的增加，人工智能的使用也随之增加，用于导航、检测、识别和跟踪有意义的人工制品和物体。
一些公司让无人机收集高分辨率照片图像，然后将其带回进行分析和离线决策（例如，优化作物产量或发现建筑工地的缺陷）；另一些公司则专注于实时推理、跟踪和警报（例如，提高安全和军事团队的态势感知能力）。Sightx 力求将这两种功能结合到无人机上，使其成为一个半自主平台，在利用 AI 模型进行空中侦察这一“真正工作”的同时，收集可用于后续增强同一 AI 模型的数据——从而形成一个持续学习和改进的循环。
简而言之，Sightx 追求自动化领域的圣杯。每次返回基地卸载数据后，无人机都可以带着升级后的模型重返天空。上一次飞行收集的数据用于重新训练无人机，使其检测和跟踪能力比上次飞行时更好——所有这些都只需极少或无需人工干预。
尽管模型最初专注于陆地地形，但 Sightx 正在处理空中和海洋影像。研究人员和开发人员需要处理各种波长模式，例如 RGB、SWIR 和 MWIR。每种地形都带来特定的挑战，需要一套技术能力。
MLOps 优先方法
为了充分实现这一愿景，Sightx 采用了 MLOps 优先方法，通过一条流线化的管道，旨在最大限度地减少（或最好消除）人工交互；新数据集的出现应专门启动该过程。由于对 MLOps 的高度依赖，Sightx 的开发人员知道他们必须在此管道的构建中部署最优秀的产品和实践。
工作原理：
- 一架无人机，通过连接到摄像头的 Sightx AI 模型增强，悬停在目标区域上方，检测并拍摄一组物体，然后返回基地。
- 然后对图像以及相应的飞行数据和参数进行分类。最有价值和代表性的图像被发送进行手动标注，以识别物体特征。
- 标注完成后，数据会反馈到数据管理系统，从而触发重新训练和验证过程。假设模型有所改进，就会将其部署到无人机上进行下一次飞行，从而更准确地执行任务。
在实际生活中使用你的 AI 模型
Sightx 正在构建的计算机视觉模型听起来像一个经典、直接的 AI 实现。但正如行业专家所知，训练良好的模型只是一个高性能 AI 系统的一部分；Sightx 的挑战甚至更加复杂，因为他们的软件是专门为边缘设备设计的。C++ 代码和 ML 模型需要编译和优化才能在各种平台上运行。从英特尔的 Tiger Lake 移动处理器和英伟达的 NX，到许多其他带 GPU 和 DSP 的基于 ARM 的 SOM。
编排和实验管理作为部署不同 AI 模型和代码的解决方案
Sightx 将 ClearML 的 Orchestrator 部署为其自动化核心。ClearML 的 Experiment Manager 用于记录和生成实验，ClearML-Agent 用于编排机器以执行各种模型训练任务。借助 ClearML，Sightx 构建了一个由 AirFlow 和 S3 提供支持的 ETL 基础设施，使无人机能够尽快上传新数据，从而实现快速重新训练和次日的空中性能改进。通过计划将 ClearML 平台与 Kibana 集成，Sightx 计划创建带有清晰数据可视化效果的仪表板，供工程师、研究人员和决策者跟踪训练过程。
Sightx 研究团队利用 ClearML 强大的工具构建能够检测、跟踪和分类物体的计算机视觉模型；他们还在研究尖端能力，例如重新识别系统先前看到并保存在无人机内部存储器中的物体。它可以使用量化、剪枝和知识蒸馏等先进的模型优化技术进行实验。
DevOps 团队努力构建了这种精心编排的基于云和基于 Docker 的基础设施，以实现快速稳定的 CI/CD 工作流。该过程取得了巨大成功，Sightx 不仅销售模型，还开始将整个端到端训练管道作为独立的服务/产品出售给寻求类似结果的公司。
结论
这项技术确实推动了一种新的范式——赋能无人机成为其自身持续改进过程的催化剂。ClearML 的一系列工具使得开发几乎整个流程阶段以创建成功产品变得更加容易。现在可以更容易地专注于核心创新，而不是劳动密集的 CI/CD 工作流。这些过程否则会分散注意力并延迟产品上市时间。
