当前位置: 首页 > news >正文

运行Spark程序-在Idea中(二)

(四)使用Maven创建新项目

核心的操作步骤如下:

        1.启动idea,选择新建项目。

2.将Scala添加到全局库中。

3.设置maven依赖项。修改pom.xml文件,添加如下:

4.下载依赖。添加完成之后,刷新Maven,它会帮助我们去下载依赖。

5.编写代码。修改文件夹的名字。

6.新建Scala类。如果这里没有看到Scala类的选项,就去检查第2步。

选择Object,输入WordCount

7.编写代码如下

它的功能是wordcount的功能:从指定的文件夹中去读取文件,并做词频统计。

8.准备待统计的词频文件。在项目根目录下建立文件夹input,并穿件两个文本文件:word1.txt, word2.txt。如下图。

9.运行代码。点击运行代码。

10生成结果如上右图。

相关文章:

  • Window、CentOs、Ubuntu 安装 docker
  • 打破GPU显存墙:FlashAttention-2算法在LLM训练中的极致优化实践
  • 【HarmonyOS 5】鸿蒙碰一碰分享功能开发指南
  • 分词器工作流程和Ik分词器详解
  • Python邮件处理(使用imaplib和email库实现自动化邮件处理)
  • 【Linux】socket网络编程之TCP
  • DDD领域驱动开发
  • 付费专栏·Python潮流周刊电子书合集(epub、pdf、markdown)下载
  • 木马查杀引擎—关键流程图
  • vue3搭建实战项目笔记四
  • Linux——数据库备份与恢复
  • ZYNQ笔记(二十一): VDMA HDMI 彩条显示
  • 机器学习第六讲:向量/矩阵 → 数据表格的数学表达,如Excel表格转数字阵列
  • 配置Hadoop集群环境-使用脚本命令实现集群文件同步
  • 皇冠CAD(CrownCAD)建模教程:配电开关
  • React Agent:从零开始构建 AI 智能体|React Flow 实战・智能体开发・低代码平台搭建
  • Docker私有仓库实战:官方registry镜像实战应用
  • -MAC桢-
  • 车联网大数据:从数据到场景的闭环实践
  • 配置文件介绍xml、json
  • 长沙查处疑似非法代孕:有人企图跳窗,有女子被麻醉躺手术台
  • 云南一男子持刀致邻居3死1重伤案二审开庭,未当庭宣判
  • 印方称所有敌对行动均得到反击和回应,不会升级冲突
  • 名帅大挪移提前开启,意属皇马的阿隆索会是齐达内第二吗
  • 国博馆刊|北朝至唐初夏州酋豪李氏家族的发展与身份记忆
  • 一企业采购国产化肥冒充“挪威化肥”:7人被抓获