客户概况
Algotec-Philips 是飞利浦放射信息部的一部分，是医疗影像企业软件领域的世界知名先驱，利用机器学习、计算机视觉、大数据和自然语言处理（NLP）等尖端技术。飞利浦放射信息部为医疗机构提供先进的 Web 解决方案，用于医疗影像的图像管理、阅片、处理、报告和 分发。Algotec-Philips 的产品是全球顶尖医疗机构的首选，包括 NIH（美国国立卫生研究院）、约翰霍普金斯医院、Cedars Sinai（比佛利山庄）、居里研究所、希巴医疗中心以及全球 2000 多家机构。
面临的挑战
在产品质量至关重要、竞争激烈的行业中运营，飞利浦放射信息部团队深知产品交付和质量至关重要，而保持竞争优势将继续由研发效率、流程和工作流程驱动。产品开发的效率总是难以衡量，但团队知道，如果他们能找到一个工具来推动大多数公司都在以下方面面临困境的改进，他们就会看到成效：
- 文档：与大多数大型开发团队一样，开发人员每天花费大量时间手动记录他们的实验，以便进行评审、溯源和根本原因分析。这种持续的记录工作通常被科学家本人在工作时使用，也用于与同事分享以及存档。通常，在复杂或紧张的实验过程中，这种文档记录会流于表面、不完整，或者在时间有限时……完全被省略。
- 协作与透明度：评审/更新会议所需时间过长；只有在有人进行了冗长而复杂的介绍和进展回顾之后，才能进行富有成效的讨论和头脑风暴。在参会前没有高效的方法来准备和“做功课”。
- 可视化：飞利浦的数据科学家需要一种方法来可视化多个并行实验的结果，以便区分、选择最成功的模型并进一步调优。他们知道，仅凭静态图表不足以提供全貌；他们必须能够将结果和指标与特定参数关联起来，以便深入到基础数据输入中，查明每个案例成功/失败的确切原因。最有帮助的是能够轻松地在图表和代码、超参数及其他实验变量之间来回切换。
- 统一/标准化：在任何需要团队（无论是内部成员之间还是与其他团队）互动的开发环境中，最棘手的挑战之一是使用不同的方法、术语和格式分享工作成果。即使是简单地搜索特定的配置文件、模型或数据集，也需要一种清晰的方式来表达查询，当最初的科学家使用不同的语法时，这个过程可能会充满挑战。
这是一份冗长而雄心勃勃的清单，包含了大多数开发组织都熟悉的障碍。飞利浦着手寻找一种工具，以尽可能多地解决这些挑战。
解决方案
飞利浦团队的搜索让他们找到了 ClearML，它满足了所有需求。安装实验管理模块后，系统几乎立即开始跟踪和管理数据实验，而算法团队无需额外的集成工作。他们立即感受到了效率在目标领域的提升所带来的不同。
首先，ClearML 的实验管理器只需添加极少量的代码，就能“神奇地”捕获指标和参数，因此研究过程基本上实现了自我文档化。“看着仅仅这一项功能开始运作就令人印象深刻，”算法组负责人 Ohad Silbert 说。“就像我们聘请了一整个完美主义抄写员团队，而且他们无需管理。”
其次，数据透明度改变了需要管理工作流程和提前规划的团队领导者的动态：他们现在不仅能更好地准备会议并随时投入战略工作，而且由于信息易于获取和查阅，许多更新会议甚至被完全取消了。
ClearML 内置的可视化工具优雅地扩展了飞利浦现有 Tensorboards 的有效性，为开发人员及其经理提供了新的数据切片和分析方式。突然间，参数、模型和基础指标的这种全面整合，无论是单独查看还是与相关实验进行比较，都描绘了一幅非常具体、完整的图景。Ohad 解释说：“这里的巨大飞跃在于，我们的 Tensorboards 日志记录是自动发生的。此外，它们会自动关联产生它们的代码和超参数，因此开发人员可以将实验关联起来进行比较。”
最后，ClearML 提供了一个 API 和 UI，以一致、标准化的方式管理实验。“我们意识到，实现我们所有的需求会太耗时，”Ohad 说，“我们需要设计、构建和持续调整的功能实在太多了。ClearML 正是我们在那个系统中一直设想的。”
成果
总体而言，算法团队的整体表现显著提高。算法开发人员 Evi Kopelowitz 解释说：“ClearML 带来了一种意想不到的‘平静’感，因为所有数据都……就在那里。我可以使用排行榜即时筛选、搜索和归档结果，并组织实验。例如，有一天我需要从之前的某个实验中检索关键数据，但我完全不记得它的名称。但我记得结果，于是我就搜索了结果，并找到了我需要的东西。这听起来很简单，但这为我节省了数小时的工作。现在这种事情经常发生。这些节省下来的时间很快就累积起来了。”
自动文档记录每周也节省了数小时。现在团队可以回顾过去和当前的实验，因为每个实验都干净、一致地记录下来。会议时间减少了，而确实举行的会议也因为基于更容易收集和理解的经验数据而缩短了时间。凭借新的效率水平，飞利浦团队现在正展现出可衡量的生产力提升。
Evi 解释了 ClearML 消除的一个典型挑战：“当我们进行典型的结果比较时，我们首先比较所有具有特定超参数或指标的实验。一旦确定了一些表现最佳的实验，我们就会深入研究：比较指标和图表，最后查看超参数以确定这些差异的来源。通常，这些超参数仍然无法解释性能的差异，我们不得不进行耗时的代码比较。有了 Trains，一切都集成在一起；我无需离开平台，也不用浪费时间编写一次性的定制代码来分析我的实验。虽然我们知道需要这种类型的组织，但它对我们工作效率的贡献超出了我们的预期。”
Ohad 补充道：“说到机器学习，我承认很容易养成坏习惯。但 ClearML 就像列出了我们效率低下的地方，并在 Trains 中提供了工具来逐个消除它们，在后台悄无声息地帮助我们。”
Evi 总结说：“工作流程的本质以及代码、模型、数据仓库和基础设施的复杂结合意味着有太多太多的活动部件，使我们无法以应有的方式工作。采用 ClearML 的解决方案无疑推动我们在跟踪、管理和记录研究以及交付算法方面向前迈进。”
