当前位置: 首页 > news >正文

AI实验管理神器:WandB全功能解析

1注册

谷歌账号或github或者微软账户

api-key登录时需要

项目->实验(多次)里面很多指标

进入版本

2功能

2无需git,版本会和评估指标关联;

3交互式表格,可以放图像,音频;高校进行case分析;

4自动化模型调参;可以并行;(important

3实验跟踪

代码

wandb初始化

import os, PIL
import numpy as np
from torch.utils.data import DataLoader,Dataset
import torch
from torch import nn
import torchvision
from torchvision import transforms
import datetime
import wandb
from argparse import Namespacedevice =torch,deyice('cuda'if torch.cuda.is available()else 'cpu' )
config =Namespace(
project name= "wandb demo",
batch size=512,
hidden layer width=64,
dropout p=0.1,
lr = 1e-4,
optim type='Adam',
epochs =15,
ckpt path='checkpoint.pt')

创建数据集;

网络构建

训练循环

验证

主函数

开始

后台

定制能力很强

项目页面(同样可以定制化

4版本关联

数据集

代码

模型

提交到服务器

后台(版本管理,很好找到最优指标对应版本

5Case分析

常规

notebook可视化几百张就很麻烦

wandb.table很简单

6可视化自动化调参

分布式,多个机器可以对同一个任务做优化;sweep是服务器,每个机器分别启动任务,非常高效;

缺点(联网

配置

先初始化sweep也就是 控制台,然后启动分布式的agent;

eg:

登录

参数配置

后面传入解包即可

调优算法

流程:

选择调优算法

定义优化目标

定义超参数空间

初始化controller

agent启动

才开始

如果就是自己跑,直接model = train(config)

关键就在wandb.log像控制器报告

启动agent将任务尝试多次

sweep_id就是和控制器绑定;然后启动训练代码,尝试count次数;

后台监控(team->project->runs

还可以换电脑继续启动,只要sweep_id一样,都会显示;

优化器区别

不同机器启动(分布式)

关闭

http://www.dtcms.com/a/346176.html

相关文章:

  • 【python】os.mkdir() 和 os.makedirs()区别
  • 数学建模-灰色关联分析
  • map_set
  • Trie 树(字典树)
  • Rust 入门 注释和文档之 cargo doc (二十三)
  • 51单片机-中断系统
  • 【数据分享】各省及全国GDP增长指数(1980-2022)
  • 彻底解决 Windows 文件扩展名隐藏问题,注册表修改显示文件后缀方法
  • More Effective C++ 条款01:仔细区别 pointers 和 references
  • 构建城市数字孪生底座:深度解析智慧城市全景视频拼接融合解决方案
  • constraint_mode使用
  • 【Python】两条命令永久切国内源
  • Android 16环境开发的一些记录
  • C语言中的CSI_START和CSI_END宏
  • 拿到手一个前端项目,应该如何启动
  • 多目标跟踪中基于目标威胁度评估的传感器控制方法复现
  • lanczos算法学习笔记
  • 【GM3568JHF】FPGA+ARM异构开发板 测试命令
  • OFD格式文件及Python将PDF转换为OFD格式文件
  • Informer参数代码
  • SPI的DMA方式
  • 线性回归:从原理到实战的完整指南
  • ROS中的自定义消息
  • Windows 11 安装 Miniforge,配置国内源
  • 基层医疗遇到了什么问题?
  • 【spring security】权限管理组件执行流程详解
  • centos7安装oracle19c流程(自用)
  • Highcharts 推出适用于 Svelte 的官方集成库
  • 【软考架构】关系数据库
  • 无人机电机与螺旋桨的匹配原理及方法(一)