案例研究

在不增加人手的情况下快速扩展功能集,意味着 Constru 需要简化其 AI 实验管理工作流程。

2020年9月14日

客户概览

constru_logo-p-500

Constru 利用先进的计算机视觉技术分析和控制建筑过程。该平台已部署在领先的建筑公司,用于评估施工质量、预算、进度等。首先,在整个项目中收集全面的 360 度视觉数据;其次,AI 算法提取添加、修改或移除的相关元素;最后,自动分析结果,提供工程和商业智能,并通过分析仪表板帮助衡量项目执行情况。

挑战

作为一家快节奏的技术创新者,Constru 的团队一直在寻求扩展其平台的功能,通过增加可纳入分析的参数列表,以便在建筑过程中获得更具体的指标。海量的潜在物理实体、材料和配置,再加上视觉表示的变量,意味着他们需要训练广泛的神经网络来匹配这些广泛的用例。简而言之,Constru 需要研究人员花费更多时间思考概念性挑战、训练神经网络和进行研究——而不是花费时间调试代码、管理实验文档和进行并行比较。 

他们也意识到(所有 AI 研究人员都知道)实验的可重复性对于确保研究方向正确和结果有效至关重要。重现实验总是存在文档错误导致偏差的风险;他们知道,不良的日志记录或对最微小数据点的疏忽都可能导致他们走上错误的道路。这可能意味着浪费数小时甚至数天的时间,直到发现并纠正错误,或者更糟的是,得出完全错误的结论。

解决方案

该团队考察了市场上最能满足他们需求的工具,经过彻底分析后,选择了 ClearML。几天之内,他们就看到了研究人员效率的提高。ClearML 是一个开源平台,通过一套工具帮助数据科学和数据工程团队优化其 AI 开发,在三个核心领域实现即时改进:生产力、协作和资源利用。只需添加一小段代码,他们发现文档现在完全自动化了,研究可以在一个工具内进行管理,并且由于所有信息都对所有人可见、可审阅和可利用,团队协作也变得非常容易。ClearML 的实验比较功能将指标与驱动这些结果的底层参数和代码耦合起来,这意味着现在更容易利用现有数据点发现洞察。代码调试(现在由于问题可能来自代码、参数、数据等多个点而比以往任何时候都更困难)也变得更容易,因为所有信息都组织在一个地方,易于可视化和比较。

Constru 还获得了忠实重现实验的实用工具。ClearML 的这项功能减少了重现时间,原因在于所有信息都已记录下来,而且配置机器运行实验的过程现在是自动化的。这使得团队能够更加专注于核心研究,并为其产品增加新功能,最终实现了高达 七倍的并行实验数量。

ClearML 还提供了一个界面来监控 GPU 实例和 Pod,以及作业或实验队列,以便团队可以自行管理所有实验、相对优先级和任务。该系统由一个编排代理支持,使研究科学家能够通过鼠标点击将他们本地开发的实验发送到公司 GPU 集群(本地部署和云爆发)上执行。无需在部署机器上设置环境、安装软件包或克隆代码。否则,这些类型的设置任务将由研究人员自己处理(这会分散精力),或者由专门的 DevOps 人员处理(这很昂贵)。ClearML 解决了这个困境。

“对于这个复杂的过程力求完美既耗时又难免人为错误。有了 ClearML,我们消除了这两个弱点。”
Ron Zass,Constru 首席技术官

成果

简化研究管理流程意味着数据科学团队可以在不增加人力的情况下承担更多职责。但其益处不仅限于这种效率的提高。Constru 首席科学家 Ron Zass 博士表示,
“我们都知道,当研究人员重现实验环境并希望自信地为下一个实验改变变量时,‘差不多’是远远不够的。对于这个复杂的过程力求完美既耗时又难免人为错误。有了 ClearML,我们消除了这两个弱点,我们估计它将重现实验所需的时间缩短了 50%。简单地说,我们可以在不招聘额外员工或专门的 DevOps 人员的情况下完成近乎两倍的工作。就具体的可衡量的影响而言,我们预计未来 12 个月内,由于这些改进,将节省约 130 万美元。

他解释说,即使是日常管理流程也得到了简化:“我们的研究人员不再需要记录代码中的每个参数及相关软件包,然后将所有这些连同数据迁移到一台新机器上,再运行实验。他们被赋予了专注于科学研究的能力,可以毫不费力地评估更多方向和可能性。能够实现更准确的可重复性固然很好,从人员角度来看,当你可以将时间花在核心专业知识上而不是后端管理上时,工作满意度也会提高。但归根结底,这关乎生产力。通过每天从实验工作流程中节省数小时时间,我们产品的特性得以显著加快地添加到产品中并推向市场。”

Facebook
Twitter
LinkedIn
滚动到顶部