当前位置: 首页 > news >正文

Spark缓存-cache

一、RDD持久化

1.什么时候该使用持久化(缓存)

2. RDD cache & persist 缓存

3. RDD CheckPoint 检查点

4. cache & persist & checkpoint 的特点和区别

特点

区别

 二、cache & persist 的持久化级别及策略选择

Spark的几种持久化级别:

1.MEMORY_ONLY

2.MEMORY_AND_DISK

3.MEMORY_ONLY_SER

4.MEMORY_AND_DISK_SER

5.DISK_ONLY

6.MEMORY_ONLY_2, MEMORY_AND_DISK_2, 等等

策略选择

相关文章:

  • 数据擦除标准:1-Pass vs. 3-Pass vs. 7-Pass有什么区别,哪个更好?
  • 【MySQL】第三弹——表的CRUD进阶(一)数据库约束
  • 专栏特辑丨悬镜浅谈开源风险治理之SBOM与SCA
  • 鸿蒙Next开发 获取APP缓存大小和清除缓存
  • Open Source Geospatial Content Management System -GeoNode
  • 《100天精通Python——基础篇 2025 第18天:正则表达式入门实战,解锁字符串处理的魔法力量》
  • Leetcode 3547. Maximum Sum of Edge Values in a Graph
  • Excelize 开源基础库发布 2.9.1 版本更新
  • win部署Jenkins 自动化部署发布后端项目
  • 6. 多列布局/用户界面 - 杂志风格文章布局
  • RabbitMQ 核心概念与消息模型深度解析(一)
  • centos中libc.so.6No such file的解决方式
  • 尼康VR镜头防抖模式NORMAL和ACTIVE的区别(私人笔记)
  • 专栏项目框架介绍
  • wpf DataGrid 行选择 命令绑定
  • vscode不能跳转到同一个工作区的其他文件夹
  • 阿里二面:聊聊 MySQL 主从同步方案的优缺点
  • 从虚拟现实到混合现实:沉浸式体验的未来之路
  • STM32 变量加载到flash的过程中
  • python打卡day24
  • 上海团队在医学顶刊连发两文,率先提出“证据污染”循证概念
  • 事关心脏健康安全,经导管植入式人工心脏瓣膜国家标准发布
  • 为证明我爸是我爸,我将奶奶告上法庭
  • 人民日报整版聚焦:专家学者看2025中国经济增长点
  • 浙江省机电集团党委书记、董事长廉俊接受审查调查
  • 7月打卡乐高乐园,还可以去千年古镇枫泾参加这个漫画艺术季