pytorch 多卡并行训练

news/2024/4/17 16:35:43

目录

设置参数:

训练时参数:

调用命令:


设置参数:

    import argparseparser = argparse.ArgumentParser()parser.add_argument('--batch_size', type=int, default=64, help='Batch size for training')parser.add_argument('--local_rank', type=int, default=0, help='Local rank of the process')parser.add_argument('--device', type=str, default='0', help='Local rank of the process')args = parser.parse_args()torch.distributed.init_process_group(backend='nccl', init_method='env://')local_rank = args.local_rankdevice = torch.device('cuda', local_rank)os.environ["CUDA_VISIBLE_DEVICES"] = "0"epoch_num = 500batch_size = args.batch_sizeif torch.cuda.is_available():net.to(device)net = torch.nn.parallel.DistributedDataParallel(net, device_ids= [local_rank],find_unused_parameters=True)

训练时参数:

# 在训练循环中使用本地 GPU 设备
for batch in dataloader:inputs, labels = batchinputs = inputs.to(device)labels = labels.to(device)# 在这里进行训练...

调用命令:

CUDA_VISIBLE_DEVICES=3,4 /data3/lbg/envs//aimet_3.8/bin/python3.8 -m torch.distributed.launch --master_port 49998 --nproc_per_node 2 train.py --device '' --batch_size 256


https://www.xjx100.cn/news/3118802.html

相关文章

layui 日期选择框弹出后消失

原因是窗口太小,日期窗碰撞边缘后会消失,解决方法是增加 trigger: click 属性。 laydate.render({ elem: #kp_date , type: date , trigger: click });

机器学习与 S3 相集成 :释放数据的力量

文章作者:Libai 引言 在当今数据驱动的世界中,企业不断寻求如何高效利用企业自身所产生的数据的解决方案。机器学习已经成为一种提取有价值的见解和做出数据驱动决策的强大工具。然而,机器学习模型的成功在很大程度上依赖于高质量数据的可用…

DDoS高防IP到底是什么?

DDoS高防IP是提供一个带防御的IP,主要是针对网络中的DDoS攻击进行保护,是针对互联网服务器遭受大流量的DDoS攻击后,导致服务不可用的情况下,用户可以通过配置高防IP,将攻击流量引流到高防IP上,从而确保源站…

SpringCloud原理-OpenFeign篇(四、请求原理)

文章目录 前言正文一、书接上回,从代理对象入手二、ReflectiveFeign.FeignInvocationHandler#invoke()三、SynchronousMethodHandler#invoke(...) 的实现原理3.1 invoke(...)源码3.2 executeAndDecode(...) 执行请求并解码 四、如何更换client 的实现 附录附1&#…

详细学习Pyqt5中的2种弹簧

Pyqt5相关文章: 快速掌握Pyqt5的三种主窗口 快速掌握Pyqt5的2种弹簧 快速掌握Pyqt5的5种布局 快速弄懂Pyqt5的5种项目视图(Item View) 快速弄懂Pyqt5的4种项目部件(Item Widget) 快速掌握Pyqt5的6种按钮 快速掌握Pyqt5的10种容器&…

数学 --笔试、面试高频

数学 排列组合 10个相同的糖果,分给三个人,每个人至少要得一个。有()种不同分法 10个糖果,中间正好9个空挡,从这9个空挡中任意取出2个作为分割点,正好能把糖果分为3份,并且保证每一份中至少有一个糖果。…

iview select组件在大数据情况下虚拟加载处理方式

select 组件在几千上万条数据的时候特别卡,调试发现option组件渲染太多,导致整个页面都卡,通过调研发现可以通过虚拟加载的方式动态渲染option,亲测上万数据一点都不卡,废话不说,上代码 虚拟加载用的是 vu…

Linux ubuntu20.04 安装使用 Intel sgx

文章目录 前言一、简介二、安装Intel SGX Software Stack2.1 安装Intel SGX driver2.2 Build the Intel SGX SDK and Inte SGX PSW Package2.3 Build the Intel SGX SDK and Intel SGX SDK Installer2.4 Install the Intel(R) SGX SDK2.5 Build the Intel SGX PSW and Intel SG…