当前位置: 首页 > news >正文

跟进一下目前最新的大数据技术

搭建最新平台

40C64G服务器,搭建3节点kvm,8C12G。

apache-hive-4.0.1-bin

apache-tez-0.10.4-bin

flink-1.20.1

hadoop-3.4.1

hbase-2.6.2  

jdk-11.0.27+6

jdk8u452-b09  jdk8终于可以不用了

spark-3.5.5-bin-hadoop3  

zookeeper-3.9.3

trino-server-475

flink spark hive hbase

iceberg

paimon

结合这些组件,可以加深目前大厂公开实践技术的理解,让大脑能有深刻触感 aha。大数据技术发展挺快的,湖仓一体,流批一体,存算分离,数据治理等等。之前理解过Clickhouse设计,在‘数据库’设计方面这里技术都是相通的。多看看大厂公开实践技术文章。

顺便搞一下k8s

http://www.dtcms.com/a/238819.html

相关文章:

  • 《算法复杂度:数据结构世界里的“速度与激情”》
  • 【Redis/2】核心特性、应用场景与安装配置
  • Langgraph实战-自省式RAG: Self-RAG
  • 分类数据集 - 场景分类数据集下载
  • 【本地AI大模型部署+可视化界面图文教程】Ollama+Qwen3
  • Unity中的transform.up
  • 【创新算法】改进深度优先搜索算法配合二进制粒子群的配电网故障恢复重构研究
  • 嵌入式学习--江协stm32day5
  • uni-app学习笔记二十九--数据缓存
  • 【ArcGIS Pro微课1000例】0072:如何自动保存编辑内容及保存工程?
  • OD 算法题 B卷【模拟工作队列】
  • 【threejs】每天一个小案例讲解:创建基本的3D场景
  • 【Go语言基础【18】】Map基础
  • 利用pandas gradio实现简单的项目子项拆解及排期
  • idea 启动jar程序并调试
  • HTML前端开发:JavaScript 常用事件详解
  • JS的传统写法 vs 简写形式
  • Spring框架的设计模式
  • 打卡第39天:Dataset 和 Dataloader类
  • Spring Cloud 微服务架构实战指南 -- SpringCLoud概述
  • BeckHoff_FB --> SET_SNB 功能块
  • Halcon案例(三):C#联合Halcon识别排线
  • 【RAG召回】bge实现向量相似度索引
  • 四.抽象工厂模式
  • 如何在Spring Boot中使用注解动态切换实现
  • Kubernetes 节点资源驱逐策略详解:evictionHard 与 evictionSoft
  • remote display server is not supported (e.g. Wayland)
  • Vue中虚拟DOM的原理与作用
  • 【RTP】Intra-Refresh模式下的 H.264 输出,RTP打包的方式和普通 H.264 流并没有本质区别
  • python批量将文件夹下的excel转word文件