跳到主要内容

超参数优化

什么是超参数优化？​

超参数是直接控制训练算法行为的变量，对最终生成的机器学习模型的性能有显著影响。超参数优化 (HPO) 对于提升模型性能和泛化能力至关重要。

寻找能产生最佳模型性能的超参数值可能很复杂。在多次训练试验中手动调整超参数既缓慢又繁琐。幸运的是，ClearML 提供了自动化解决方案来提高超参数优化的效率。

工作流程​

Hyperparameter optimization diagram

上图展示了典型的超参数优化流程，其中对基础任务的参数进行优化

  1. 配置一个优化任务，包括一个将要优化参数的基础任务、优化目标以及一组待测试的参数值
  2. 克隆基础任务。每个克隆任务的参数都被优化任务中的一个值覆盖
  3. 将每个克隆任务排队等待 ClearML Agent 执行
  4. 优化任务记录并监控克隆任务的配置和执行详情，并返回优化结果的总结。

ClearML 解决方案​

ClearML 提供三种超参数优化解决方案

  • GUI 应用程序：超参数优化应用程序允许您直接从 Web 界面运行和管理优化任务——无需编写代码（仅限 ClearML Pro 计划）。
  • 命令行界面 (CLI)：clearml-param-search CLI 工具使您能够从终端配置和启动优化过程。
  • Python 接口：ClearML SDK 中的 HyperParameterOptimizer 类允许您配置和启动优化任务，并将其无缝集成到现有的模型训练任务中。