当前位置: 首页 > news >正文

强化学习训练-数据处理

一、定义

1.模型在学习过程中出现nan

二、实现

  1. 模型在学习过程中出现nan, 如何解决
    数据中出现nan, 导致某一维度出现nan, 则该维度数据是无效的,模型无法进行学习的。
print("Train X stats: ", self.train['x_pre'].mean(axis=0), self.train['x_pre'].std(axis=0))
print("Train y stats: ", self.train['y_after'].mean(axis=0), self.train['y_after'].std(axis=0))
print("Any NaN in X_train:", np.any(np.isnan(self.train['x_pre'])))
print("Any Inf in y_train:", np.any(np.isinf(self.train['y_after'])))

需要对数据进行处理,处理掉nan的字段信息。

   def datasetCheck(self):self.df = self.df.dropna()total_missing = self.df.isnull().sum().sum()print(f"\n总缺失值 (NaN) 数量: {total_missing}")print(f"缺失值占比: {(total_missing / self.df.size) * 100:.2f}%")# 4. 详细列出每一列的缺失情况print("\n=== 各列缺失值详细情况 ===")missing_info = self.df.isnull().sum()# 按缺失数量降序排列,优先看问题最严重的列missing_info = missing_info[missing_info > 0].sort_values(ascending=False)if len(missing_info) > 0:for col_name, missing_count in missing_info.items():print(f"列 '{col_name}': {missing_count} 个缺失值 (占比 {missing_count/len(self.df)*100:.1f}%)")else:print("(!) 警告:pandas 未检测到缺失值,但NumPy计算为NaN,可能存在数据类型问题")
http://www.dtcms.com/a/391180.html

相关文章:

  • VirtualBox为ubuntu系统设置共享文件夹
  • Python实战进阶》No.41: 使用 Streamlit 快速构建 ML 应用
  • Salesforce 执行顺序(Order of Execution)详解
  • Linux内核进程管理子系统有什么第五十七回 —— 进程主结构详解(53)
  • Vue 记账凭证模块组件
  • ORACLE-数据库闪回
  • 【Python】集合
  • 【Leetcode hot 100】437.路径总和 Ⅲ
  • 神经网络学习笔记16——高效卷积神经网络架构汇总(SqueezeNet、MobileNet、ShuffleNet、EfficientNet、GhostNet)
  • 解码阳光电源技术壁垒:以IPD和数字化驱动模块化创新的研发体系
  • ARM体系结构—架构—指令集—寄存器—工作模式
  • 自适应全变分模型的图像平滑去噪与边缘保留算法
  • 主流前端框架比较
  • 前端接口参数序列化
  • 精细调光,稳定驱动:AP5165B 在低压LED照明中的卓越表现
  • EasyGBS如何实现企业园区视频监控一体化管理?
  • Ledit 16.3 版图软件全面系统性教程
  • Linux的DTS配置信息
  • 线程池全面解析:核心原理、参数配置与实践指南
  • 【Linux】自定义协议——网络计算器实现
  • Ubuntu 安装的docker-compose拉取镜像失败问题处理办法
  • 第35篇:AI前沿:具身智能(Embodied AI)与通用人工智能(AGI)
  • LangChain 入门到精通企业项目实践之 LangChain 聊天模型
  • crush情感分析项目01
  • 免费插件分享 | Missing References Search
  • ECU OTA测试
  • Jenkins运维之路(Slave容器节点)
  • Amazon Lambda + API Gateway 实战,无服务器架构入门
  • 芯片管脚的源电流与漏电流
  • Django+ARIMA微博舆情预警系统 SnowNLP情感分析 Echarts可视化 机器学习 大数据项目✅