跳到主要内容

版本 0.17

ClearML 0.17.5​

新功能

  • 添加 force_download 参数至 Artifact.get() 和 Artifact.get_local_copy() (clearml GitHub 问题 319)。
  • 支持使用子进程而不是线程进行所有报告（默认为 sdk.development.report_use_subprocess=True）。
  • 改进数据集支持
    • 添加 clearml-data publish 命令，以允许发布数据集任务。
    • 添加 clearml-data sync 命令，现在可以通过单个命令创建、同步和关闭数据集。
    • 允许在正在运行的任务上创建数据集。
    • 添加 dataset_tags 参数至 Dataset.get()。
    • 添加 Dataset.get_logger() 方法。
  • 为 Task.add_requirements() 添加支持，用于指定版本，如 <>=~ 等。
  • 添加 StorageManager.upload_folder() 和 StorageManager.download_folder() 方法。
  • 为 StorageHelper.upload_from_stream()、StorageHelper.upload() 和 StorageHelper.upload_from_stream() 添加进度报告日志记录。
  • 添加 Jupyter 自动魔法 - 将 Jupyter Notebook 作为工件存储在任务中（默认为 sdk.development.store_jupyter_notebook_artifact=True）。
  • 添加上传 Jupyter Notebook 的 HTML 预览作为工件。
  • 为 PipelineController 添加禁用克隆基础任务选项。
  • 在优化摘要表中添加任务链接（而不仅仅是任务 ID）。
  • 为散点图添加日期时间支持 + Matplotlib 支持。
  • 改进 Plotly 值类型一致性。
  • 改进 PyTorch DataLoader 速度 (clearml GitHub 问题 207)。
  • 更新自动伸缩器（Auto Scaler）的默认值和配置。
  • 示例
    • 添加 Hydra 示例。
    • 添加工件检索示例。
    • 更新各种示例。

错误修复

  • 修复需求解析失败时的警告或错误消息 (clearml GitHub 问题 291)。
  • 修复 PyTorch-Lightning 多节点存储 (clearml GitHub 问题 292)。
  • 修复剥离远程 diff (clearml GitHub 问题 295)。
  • 修复 Python 包检测 sklearn -> scikit-learn (clearml GitHub 问题 296)。
  • 修复 argparse 问题
    • 修复 argparse 默认参数中包含 [None] 的问题 (clearml GitHub 问题 297)。
    • 修复科学计数法参数的解析问题 (clearml GitHub 问题 313)。
    • 修复 argparser 日志记录始终捕获默认值的问题（仅限 Windows，忽略 cmd）。
    • 修复通过命令行传入的 argparse nargs 参数 --nargs 1 2 应存储为 [1, 2] 而非 ['1', '2']。
    • 修复对默认值类型与定义类型不符的非标准 argparse 的支持问题。
    • 修复在调用 Task.init() 之前服务器使用远程 argparse 更新的问题（尊重跳过的参数）。
  • 修复数据集支持问题
    • 修复当文件位于数据集根目录时，Dataset.remove_files() 找不到文件的问题 (clearml GitHub 问题 303)。
    • 修复仅移除文件后关闭数据集的问题。
    • 修复数据集生成摘要表中移除 / 修改 / 添加项的问题。
  • 修复 Hydra 多次运行支持问题 (clearml GitHub 问题 306)。
  • 修复 TF/TensorBoard 支持问题
    • 修复同一进程内 TensorBoard 多次调用 Task.init() / Task.close() 的问题 (clearml GitHub 问题 312)。
    • 修复 TensorBoard 2+ 的 pr_curve 问题。
    • 修复 TF pr_curve 不应反转的问题。
    • 修复 TF +2.3 混合 eager 模式执行摘要指标未报告的问题。
    • 修复 TF 绑定键盘中断问题。
    • 修复 TF 2.4 Keras 模型加载/保存问题。
  • 修复 clearml-task
    • 修复找不到脚本时的错误问题。
    • 修复 --docker 标志未传递的问题。
    • 修复修补本地 git diff 的问题。
  • 修复 clearml-data
    • 修复 clearml-data sync 需要 --name 参数的问题。
    • 修复 clearml-data remove 中缺少必需参数 --files 的问题。
  • 修复从 Jupyter Notebook 调用 Task.execute_remotely() 的问题。
  • 修复从 Jupyter Notebook 调用 populate Task 的问题（使用 Task.create(packages=True) 根据本地已安装的包自动填充）。
  • 修复 Plotly 绘图包含 NumPy 的 NaN / datetime 时的问题。
  • 修复 Matplotlib 使用 Agg 后端（或在远程执行中）的问题。
  • 修复尝试将模型文件上传为文件夹的问题（会自动打包该文件夹）。
  • 修复当包 importlib 检测失败导致整个需求检测失败时，包损坏的问题。
  • 修复 Task.connect(object) 应始终返回相同的对象实例问题。
  • 修复使用本地存在的仓库和脚本调用 Task.create() 的问题。
  • 修复 Logger.get_logger() 无法获取文件名时崩溃的问题。
  • 修复 Python 3.8+ 在 macOS / Windows 上退出时发生异常的问题。
  • 修复使流水线摘要表链接到任务步骤日志的问题。
  • 修复 Hydra 1.1 支持问题（argparse 描述）。
  • 修复记录器关闭后关闭任务的问题。
  • 修复在远程执行中调用 Task.set_base_docker() 的问题。
  • 修复工件预览限制为 64KB 的问题。
  • 修复 JupyterLab Notebook 检测问题。
  • 修复 Python 2.7 支持问题。

ClearML 0.17.4​

新功能

  • 添加 HyperParameterOptimizer 并行坐标图 (clearml GitHub 问题 279)。
  • 为 Task.init() 添加 tags 参数。
  • 更改 HPO 并行坐标图颜色刻度，黄色表示低值。
  • 将 HyperParameterOptimizer 的 spawn_task_project 更改为 spawn_project。
  • 回滚所有 NumPy 需求更改，仅使用下限。

错误修复

  • 修复 argparse nargs 支持问题。
  • 修复 argparse 中使用 action="append" 的问题。
  • 修复 PyJWT v2.0 token 解析问题。
  • 修复 Python 包检测不应列出 file:// 链接的问题。

ClearML 0.17.3​

新功能

  • 添加 Task.delete() 支持。
  • 添加 Task.debug_simulate_remote_task() 方法，用于模拟 ClearML Agent 执行任务。
  • 添加流水线中已归档任务的警告 (clearml GitHub 问题 274)。
  • 添加 Task.init(..., output_uri=True)，将使用默认的 files_server 作为输出 uri。
  • 使 clearml-data CLI 具有状态，以便它记住上次的数据集 ID 作为默认数据集。
  • 添加 HyperParameterOptimizer.get_optimizer_top_experiments() 方法，用于查询执行后的优化流水线。
  • 添加 Task.set_archived() 和 Task.get_archived() 方法。
  • 添加 Task.set_credentials() 选项，用于存储到凭据文件中。
  • 添加 clearml-data close 命令，现在会自动上传。
  • 添加 HyperParameterOptimizer 参数 spawn_task_project 和 save_top_k_tasks_only。

错误修复

  • 修复 PipelineController 在没有配置的情况下远程运行时，不执行默认代码流水线的问题 (clearml GitHub 问题 273)。
  • 修复项目被删除后重复使用任务的问题 (clearml GitHub 问题 274)。
  • 修复 Task.archived_tag read-only 属性不起作用的问题 (clearml GitHub 问题 274)。
  • 修复 argparse 支持存储自定义对象一致字符串表示的问题。如果远程值匹配，则避免更改默认值。
  • 修复将 argparse 类型设置为函数的问题。
  • 修复数据集添加单个和多个文件的问题。
  • 修复未指定时从父数据集获取项目名称的问题。
  • 修复 mpl 导出器问题。添加了对图例的支持。
  • 修复模型上传问题。
  • 修复优化器回调最佳实验问题。
  • 修复 Optuna 优化器在标量查询中遇到值为 None 的任务时失败的问题。
  • 修复直接从 URL 安装的 Python 包自动检测问题。
  • 修复数据集上传在服务器看门狗处中止的问题。
  • 修复数据集谱系、图和数据恢复问题。
  • 修复 NumPy 对 Python 版本的依赖问题。

ClearML 0.17.2​

错误修复

  • 修复损坏的 clearml-task CLI 问题。

ClearML 0.17.1​

错误修复

  • clearml-task CLI 链接已修复。

ClearML 0.17.0​

新功能

  • 将 trains 重命名为 clearml（参见 clearml 在 GitHub）。
  • 添加用于差异化数据集管理&版本控制的 clearml-data CLI（参见 详细信息）。
  • 添加用于将代码创建（导入）到 ClearML 的 clearml-task CLI（参见 详细信息）。
  • 添加 Task.create，支持将代码/仓库导入到 ClearML，包括使用 clearml-agent 进行远程执行。

错误修复

  • PyJWT v2.0 破坏了接口兼容性。