跳到主要内容

环境缓存

ClearML Agent 会缓存虚拟环境,因此当多次运行任务时,无需花费时间重新安装预装的包。要利用缓存的虚拟环境,请启用虚拟环境复用机制。

虚拟环境复用

虚拟环境复用功能可以显著减少任务启动时间。

默认情况下,ClearML 使用包管理器的环境缓存。这意味着即使不需要安装新包,检查包列表也可能花费很长时间。

ClearML 有一个虚拟环境复用机制,启用该机制后,可以直接使用现有环境,而无需解析已安装的包。这意味着当执行具有相同包依赖关系的多个任务时,将使用同一个环境。

note

使用 Poetry 包管理器时,ClearML 不支持环境复用

要启用虚拟环境复用,请修改 clearml.conf 文件并取消注释 venvs_cache 部分。

venvs_cache: {
# maximum number of cached venvs
max_entries: 10
# minimum required free space to allow for cache entry, disable by passing 0 or negative value
free_space_threshold_gb: 2.0
# uncomment to enable virtual environment caching
# path: ~/.clearml/venvs-cache
},