在形式上涵盖或补充的方式下进行操作(例如,在多卡环境中跟踪模型的整体可训练参数数量以及特定模块的参数)
发布时间
阅读量:
阅读量
以覆盖/追加的形式将文本写入txt
- 1. 包含-“w”
- 2. 补充-“a”
- 3. 具体实例-在进行多卡训练过程中,需统计模型中所有可训练参数的总量以及部分特定模块所涉及的参数
覆盖特征与“w”关系分析
# 将参数信息写入txt,覆盖原文件,如果txt不存在自动创建
with open(txt_path, "w") as f:
f.write(f"{mudule_name}: {total_trainable_params_count} \n")
2. 追加-“a”
# 将参数信息写入txt,追加至原文件,如果txt不存在自动创建
with open(txt_path, "a") as f:
f.write(f"{mudule_name}: {total_trainable_params_count} \n")
3. 实例-多卡训练时,记录模型的可训练总参数和特定的某些模块参数
#计数函数
def count_params(params, mudu
全部评论 (0)
还没有任何评论哟~
