本地使用AutoML-nni进行超参数调优实验

news/2024/4/24 13:24:09

目的:在自己的代码中NNI工具,进行超参数自动调优训练自己的项目,得到精度最高的一组超参数。

nni地址:

GitHub - microsoft/nni: An open source AutoML toolkit for automate machine learning lifecycle, including feature engineering, neural architecture search, model compression and hyper-parameter tuning.

使用流程

使用nni自动调参训练自己的项目需要以下几步:

1.安装nni

pip install nni

2.配置nni需要的文件

第一个文件:search_space.json

        记录搜索空间的文件,包括所有需要搜索的超参的名称和分布。

{"batch_size": {"_type":"choice", "_value": [16, 32, 64, 128]},"hidden_size":{"_type":"choice","_value":[128, 256, 512, 1024]},"lr":{"_type":"choice","_value":[0.0001, 0.001, 0.01, 0.1]},"momentum":{"_type":"uniform","_value":[0, 1]}
}

        比如搜索空间里batch_size有四个值可供选择,lr有四个值,这几项参数按照一定方法组合成为一组超参数进行训练实验。

        自己使用时可以增加自己的超参数进行实验。

        那么,超参数组合方法有哪些呢?方法在哪里指定呢?就需要配置nni的第二个文件。

第二个文件:config.yml

        指定搜索空间和Trail文件的路径等作用的文件。除此之外还提供调整算法,最大Trial运行次数和最大持续时间等参数。

authorName: default
experimentName: example_mnist
trialConcurrency: 1            			# 并行trail数量
maxExecDuration: 1h            			# 实验执行的时间上限
maxTrialNum: 10                			# Trial任务的最大数量
#choice: local, remote, pai
trainingServicePlatform: local			# 训练平台,一般为local
searchSpacePath: search_space.json		# 搜索空间,一般为search_space.json
#choice: true, false
useAnnotation: false	# 本例中我们使用的NNI API的方法进行集成,此处选择false # 如果设置了 useAnnotation=True,searchSpacePath 字段必须被删除
tuner:#choice: TPE, Random, Anneal, Evolution, BatchTuner, MetisTuner, GPTuner#SMAC (SMAC should be installed through nnictl)builtinTunerName: TPE                         # 优化算法classArgs:#choice: maximize, minimizeoptimize_mode: maximize
trial:command: python train.py             codeDir: .gpuNum: 0					 # GPU可见性设置

        可以看到,文件中指定了搜索空间文件search_space.json,组合优化算法为TPE,实验要调用的自己训练的代码train.py。

 3.在train.py中编写nni代码

借用另一位博主的代码介绍nni思路:

import nni
def main(args):# 下载数据train_loader = torch.utils.data.DataLoader(datasets.MNIST(...), batch_size=args['batch_size'], shuffle=True)test_loader = torch.tuils.data.DataLoader(datasets.MNIST(...), batch_size=1000, shuffle=True)# 构造模型model = Net(hidden_size=args['hidden_size'])optimizer = optim.SGD(model.parameters(), lr=args['lr'], momentum=args['momentum'])# 训练for epoch in range(10):train(args, model, device, train_loader, optimizer, epoch)test_acc = test(args, model, device, test_loader)print(test_acc)nni.report_intermeidate_result(test_acc)    print('final accuracy:', test_acc)# 报告评估指标nni.report_final_result(test_acc)
if __name__ == '__main__':# 设置超参数默认值params = {'batch_size': 32, 'hidden_size': 128, 'lr': 0.001, 'momentum': 0.5}# 获取一次Trail的超参数params = nni.get_next_parameter()main(params)

1.import nni

2.获取Trail中的超参数,传递给训练代码。

params = nni.get_next_parameter()

3.在训练中每一个epoch报告一次nni。

nni.report_intermeidate_result(test_acc)

4.在训练结束报告nni。

nni.report_final_result(test_acc)

4.启动nni实验

终端输入以下命令启动nni实验。

nnictl create --config config.yml  # 默认地址nnictl create --config config.yml -p 8888 --debug  # 指定端口

        nnictl是一个命令行工具,用来控制NNI Experiment,如启动、停止、继续Experiment,启动、停止 NNIBoard 等等 

        然后可以通过终端输出的WebUI的地址,在浏览器看到 NNI 的进度。

参考链接:

HPO 教程(PyTorch 版本) — Neural Network Intelligence

浅析自动机器学习(AutoML)工具NNI(下)-阿里云开发者社区


https://www.xjx100.cn/news/663779.html

相关文章

查看和修改Oracle数据库字符集

1、查询oracle server端的字符集 SQL> select userenv(language) from dual;USERENV(LANGUAGE) ---------------------------------------------------- AMERICAN_AMERICA.ZHS16GBK或者SQL> set line 150 SQL> col parameter for a30 SQL> col value for a30 SQL&…

Scalable IO in Java(Reactor模式)

原文链接:https://gee.cs.oswego.edu/dl/cpjslides/nio.pdf 百度网盘:https://pan.baidu.com/s/1N3JYSg7yLiTAyMqy84Kz-Q?pwd634s 译文:https://www.cnblogs.com/dafanjoy/p/11217708.html

抽丝剥茧Reactor模式

今天在看书的时候看到了一个新的设计模式——Reactor模式,这个模式是出现在NIO中,至于这到底是个什么模式,今天我们来细说一下。 一、是什么 1、概念 reactor设计模式,是一种基于事件驱动的设计模式。Reactor框架是ACE各个框架中…

Reactor模式详解(转)

在学习netty源码以前,需要熟悉JDK 中的NIO,多线程;了解一些设计模式:例如工厂方法、抽象工厂、建造者、外观、代理等;还有NIO的Reactor和AIO的Proactor模式。下边我转了两篇关于Reactor和Proactor相关内容的文章&#…

java reactor模式例子_回顾 Reactor 模式

Reactor 作为网络编程库的核心模式的 Reactor 模式是网络编程中的最常用的模式,反应器 Reactor 又名分派器 Dispatcher, 或通知器 Notifier, 重温一下 POSA2 是对这个模式的描述 语境 An event-driven application that receives multiple service requests simultaneously, b…

Java I/O中的Reactor模式

传统I/O模式 我们之前的的I/O文章中有过如下这种图: 如上模型中,存在的问题 当并发数量很大的时候,会创建大量的线程,占用很大的系统资源当连接创建后,如果当前线程暂时没有可以读的数据,那么改县城会阻塞…

什么是 reactor 模式

在网上看了很多reactor 模式,每个都是各有千秋,这里我写一下自己对reactor 模式感悟。 1. Reactor模式是什么 反应器设计模式(Reactor pattern)是一种为处理并发服务请求,并将请求提交到一个或者多个服务处理程序的事件设计模式。当客户端请…

设计模式——Reactor模式

Reactor模式 Reactor是一种事件处理的设计模式,经常用于高并发的服务端网络开发中。异步的收取消息。将不同的消息绑定到不同的回调函数上。传统的设计是一种同步的停等协议,读写操作执行后要等待当前fd的下一次可读/写事件,这期间什么都不能…