当前位置: 首页 > news >正文

Apache Spark算法开发指导-特征转换TargetEncoder

TargetEncoder是目标编码,主要用于回归分析算法模型,采用分类值的平均值作为输出,相同的分类值具有相同的目标编码的输出。

第一列是特征分类,共有1 2 3三个特征分类,其中,特征分类1出现了3次,特征分类2出现2次,特征分类3出现1次,第二列是目标分类值(二进制),第三列是目标分类值(连续性):

对二进制的目标分类值执行目标编码,第三列作为目标编码的输出,特征分类1的目标编码=(0+1+0)/3,同理,特征分类2的目标编码=(0+1)/2,特征分类3的目标编码=1/1:

对连续性的目标分类值执行目标编码,第三列作为目标编码的输出,特征分类1的目标编码=(1.3+2.5+1.6)/3,同理,特征分类2的目标编码=(1.8+2.4)/2,特征分类3的目标编码=3.2/1:

scala的代码示例:

在spark-shell的scala运行环境中执行代码运算:

http://www.dtcms.com/a/486750.html

相关文章:

  • spark热点key导致的数据倾斜复现和加盐处理
  • Chrominum的技术架构
  • 青岛网站域名备案查询佛山市企业网站建设哪家好
  • 目标检测:从定义到实战关键技术
  • 如何利用AOP实现业务层接口的执行效率
  • 废家电回收小程序:绿色生活与智慧服务的前端功能创新
  • Fast DDS简介
  • 做数据的网站有哪些内容乐陵seo公司
  • 大数据平台安全指南——大数据平台安全架构全景:从认证授权到数据治理的企业级实践指南——认证、授权、审计、加密四大支柱
  • 管理员网站上海有哪些做网站
  • C盘深度清理指南
  • Android 中 RecyclerView 与 ListView 的深度对比:从设计到实践
  • 中网互联网站建设装修网站免费设计
  • SSH安全操作:nftables避坑指南
  • 重庆网站建设咨询wordpress访问非常慢
  • 操作教程 | 在DataEase中嵌入SQLBot开源智能问数系统
  • 基于SpringBoot的健身管理系统(平台)
  • 硬件 - BQ40Z80电量计应用详解(4) - 充电算法GG配置 -ing
  • 有什么网站可以接单做兼职的简单电子商务网站开发
  • SYN VISION亮相欧洲区块链大会:重塑短剧RWA与AI娱乐生态
  • 威海高区有没有建设局的网站2023年新闻摘抄
  • WebSocket vs HTTP 对比
  • 【SQL错题本】记录一些没有思路的sql题
  • 首钢建设工资网站网站建设平台价格
  • C++ 模拟题 力扣 6. Z字形变换 题解 每日一题
  • 免费建站的专做定制网站建设
  • 网站的站点建设分为有做网站设计吗
  • 创建Linux网卡的链路聚合
  • OSI七层模型:从原理到实战
  • 深入解析Linux下的`lseek`函数:文件定位与操作的艺术