当前位置: 首页 > news >正文

spark写数据库用连接池找不到driver类

最近遇到一个很离谱的bug,在写spark代码把数据写到mysql的时候考虑到连接的开销,所以用了HikariCP连接池,但是无语的是程序执行死活加载不到mysql的Driver类,但是解压了jar看到mysql-conn包就在lib下面,版本也是5.x的没问题,还尝试了--jars,也没解决,倒腾了各种方式,网上也查到确实有人复现这个问题—》百度EMR spark

最终灵光一闪,想到写原生Java的jdbc需要手动class-load一下,所以就在想也给连接池手动load一下是否可行,最终测试发现会类冲突。到此想到难道连接池和spark调用jdbc的类加载逻辑不一样?就想到一个妖点子,把mysql-driver包放在了spark的jars资源路径里面,当作引擎的class资源,果然运行之后问题就解决了。

相关文章:

  • 安装 cnpm 出现 Unsupported URL Type “npm:“: npm:string-width@^4.2.0
  • iterm2更新后主题报错
  • SpringBoot篇(自动装配原理)
  • 大模型学习笔记------LLM模型开发流程
  • Python----数据分析(Matplotlib二:绘图一:折线图,条形图,直方图)
  • Python 爬取唐诗宋词三百首
  • C# Unity 唐老狮 No.4 模拟面试题
  • JDBC核心技术解析:从基础连接到ORM演进之路(上)
  • JavaWeb2025.02.28
  • 2.编程语音和工具介绍
  • unity学习62,尝试做第一个小游戏项目:flappy bird
  • 【http://noi.openjudge.cn/】4.3算法之图论——1538:Gopher II
  • 【开源-开源C++框架boost和poco的对比】
  • USRP4120-通用软件无线电平台
  • MATLAB CVX 能处理的目标函数数量级极限是多少?
  • VSCode 移除EmmyLua插件的红色波浪线提示
  • 《一个端粒到端粒的参考基因组为木瓜中五环三萜类化合物生物合成提供了遗传学见解》
  • kafka-关于ISR-概述
  • 探秘基带算法:从原理到5G时代的通信变革【三】Turbo 编解码
  • GEO数据挖掘
  • 网站中的横幅怎么做/郑州百度推广代理公司
  • 游戏网站排行/av手机在线精品
  • 大连网站专业制作/真正免费的网站建站平台推荐
  • 网站上的网站地图怎么做/制作网页的步骤
  • asp做微网站设计/百度怎么打广告在首页
  • 犀牛云做网站一年多少钱/河北网站建设案例