调整任务
调整任务并编辑其执行详情,然后在本地或远程机器上执行调整后的任务。
调整任务并在远程执行:
-
找到任务。从项目仪表板或主项目页面打开任务的项目页面。
- 在项目仪表板上,
- 点击“最近任务”中的一个任务
- 在“最近项目”中 > 点击一个项目卡 > 点击任务
- 在“最近项目”中 > 点击 查看全部 > 点击项目卡 > 点击任务
- 在“项目”页面上,点击项目卡,或点击所有项目卡 > 点击任务
- 在项目仪表板上,
-
克隆任务。在任务表中
- 点击克隆,将弹出一个克隆任务框。
- 在项目文本框中,选择或创建一个项目。要搜索其他项目,开始输入项目名称。要创建新项目,输入新任务名称并点击创建新项目。
- 输入可选描述。
- 点击克隆。
克隆的任务状态现在是草稿。
-
编辑任务。参见修改任务。
-
将任务排队执行。右键点击任务 > 入队 > 选择一个队列 > 入队。
任务状态变为待处理。当分配给该队列的工作节点获取任务时,其状态变为正在运行。现在可以跟踪任务并可视化其结果。
修改任务
状态为草稿的任务是可编辑的(参见用户属性例外)。在 ClearML Web UI 中,编辑以下任何内容:
- 源代码
- artifacts 输出目标
- 默认容器
- 超参数 - 参数、TensorFlow 定义、命令行选项、环境变量和用户定义属性
用户参数可在任何任务中编辑,但状态为已发布的任务除外(只读)。
- 配置对象 - 任务模型描述
- 初始权重输入模型
- artifacts 存储输出目标
执行详情
源代码
通过更改以下任何项来修改代码执行:
- 仓库、提交(按 ID、标签名称选择,或选择分支中的最后一个提交)、脚本、工作目录和/或二进制文件。
- 要安装的 Python 包和/或其版本 - 编辑包列表,或清除列表,以便 ClearML Agent 不安装任何包或使用现有仓库中的
requirements.txt
文件。如果任务基于某个运行,且其中使用的包最终与最初指定的包不同,您可以轻松地将包重置为最初记录的值(“原始 Pip”)。 - 未提交的更改 - 编辑或清除全部。
要修改源代码,将鼠标悬停在执行选项卡中的相关部分,以访问编辑、清除/丢弃和/或重置功能。
默认容器
选择一个预配置的容器,ClearML Agent 将使用该容器来远程执行此任务(参见在容器中构建任务执行环境)。
添加、更改或删除默认容器
- 在执行中 > 容器 > 悬停 > 编辑 > 输入默认容器镜像。
ClearML Agent 要在容器中执行任务,该 Agent 必须在Docker 模式下运行
clearml-agent daemon --queue <execution_queue_to_pull_from> --docker [optional default container image to use]
输出目标
设置模型检查点(快照)和其他 artifacts 的输出目标。支持的目标类型和指定位置的格式示例包括:
- 共享文件夹:
/mnt/share/folder
- S3:
s3://bucket/folder
- 非 AWS S3 兼容服务(例如 MinIO):
s3://host_addr:port/bucket
。注意:需要指定端口。 - Google Cloud Storage:
gs://bucket-name/folder
- Azure Storage:
azure://<account name>.blob.core.windows.net/path/to/file
添加、更改或删除 artifacts 输出目标
- 在执行中 > 输出 > 目标 > 悬停 > 编辑 > 编辑 > 保存。
还可以在代码中设置 artifacts 的输出目标(参见Task.init
方法的 output_uri
参数),以及在 ClearML 配置文件中为所有任务设置(参见 ClearML 配置参考页面上的default_output_uri
)。
配置
超参数
添加、更改或删除超参数,它们在 ClearML Web UI 中按以下部分组织:
-
Args - 自动记录的参数解析器参数(例如
argparse
、click
、hydra
)。 -
TF_DEFINE - TensorFlow 定义(来自代码,TF_DEFINE 自动记录)。
-
General - 参数字典(来自代码,通过调用
Task.connect()
连接到任务)。 -
环境变量 - 如果变量在
CLEARML_LOG_ENVIRONMENT
环境变量或clearml.conf
文件的sdk.development.log_os_environments
字段中列出,则会被跟踪(参见此常见问题)。 -
自定义命名参数组(参见
Task.connect
中的name
参数)。
添加、更改或删除超参数
- 在配置选项卡中 > 超参数 > 参数组 > 悬停 > 点击编辑 > 添加、更改或删除键和/或值 > 点击保存。
用户属性
用户属性允许以键值对格式存储任何描述性信息。它们可在任何任务中编辑,但状态为已发布的任务除外(只读)。
添加、更改或删除用户属性
- 在配置中 > 用户属性 > 属性 > 悬停 > 点击编辑 > 添加、更改或删除键和/或值 > 点击保存。
配置对象
添加、更改或删除任务模型配置
- 在配置中 > 配置对象 > 对象名称 > 悬停 > 编辑 或 清除(如果配置不为空)。
Artifacts
初始权重输入模型
编辑模型配置和标签枚举,为同一项目或任何其他项目选择不同的初始输入权重模型,或删除模型。
模型可在模型选项卡中编辑,而不在任务选项卡中。点击模型名称超链接会在模型选项卡中显示该模型。
选择不同的模型
- 在Artifacts中 > 输入模型 > 悬停并点击编辑。
- 如果任务关联了模型,点击
。
- 在选择模型对话框中,从当前项目或任何其他项目选择一个模型。
编辑模型的配置或标签枚举
-
点击模型名称超链接。模型详情会显示在模型选项卡中。
-
编辑模型配置或标签枚举
-
模型配置 - 在网络选项卡中 > 悬停并点击编辑。> 点击编辑 或 清除(以删除配置)。
用户还可以搜索配置(将鼠标悬停在配置文本框上,会出现搜索框)并将配置复制到剪贴板(悬停并点击
)。
-
标签枚举 - 在标签选项卡中 > 悬停并点击编辑 > 添加、更改或删除标签枚举键值对。
-
从任务中移除模型
- 悬停并点击编辑 > 点击