环境缓存
ClearML Agent 会缓存虚拟环境,因此当多次运行任务时,无需花费时间重新安装预装的包。要利用缓存的虚拟环境,请启用虚拟环境复用机制。
虚拟环境复用
虚拟环境复用功能可以显著减少任务启动时间。
默认情况下,ClearML 使用包管理器的环境缓存。这意味着即使不需要安装新包,检查包列表也可能花费很长时间。
ClearML 有一个虚拟环境复用机制,启用该机制后,可以直接使用现有环境,而无需解析已安装的包。这意味着当执行具有相同包依赖关系的多个任务时,将使用同一个环境。
note
使用 Poetry 包管理器时,ClearML 不支持环境复用
要启用虚拟环境复用,请修改 clearml.conf
文件并取消注释 venvs_cache
部分。
venvs_cache: {
# maximum number of cached venvs
max_entries: 10
# minimum required free space to allow for cache entry, disable by passing 0 or negative value
free_space_threshold_gb: 2.0
# uncomment to enable virtual environment caching
# path: ~/.clearml/venvs-cache
},