Scala和Spark的介绍

Scala

1. Slaca的发展过程

由洛桑联邦理工学院的马丁 · 奥德斯在 2001 年基于 Funnel 的工作开始设计，设计初衷是想集成面向对象编程和函数式编程的各种特性。

Scala 是一种纯粹的面向对象的语言，每个值都是对象。 Scala 也是一种函数式语言，因此函数可以当成值使用。

2. Scala是什么

Scala是一门现代的多范式编程语言 ，运行于IAVA平台（JVM,JAVA虚拟机）并兼容现有的JAVA程序。

 

3. Scala的特点

① Scala具备强大的并发性，支持函数式编程，可以更好地支持分布式系统。

② Scala语法简洁，能提供优雅的API。

③ Scala兼容Java，运行速度快，且能融合到Hadoop生态圈中。

 

4. Scala的特性

 

1.面向对象

 

2.函数式编程

 

3.静态类型

 

4.可拓展

 

Spark

1.Spark是什么

Spark 是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台之一。

 

2.Spark发展历程概述

第一阶段：Spark最初由美国加州伯克利大学( UC Berkelcy)的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序

 

第二阶段：2013年Spark加入Apache孵化器项日后发展迅猛，如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一( Hadoop磁盘MR离线式、Spark基于内存实时数据分析框架、Storm数据流分析框架 ）

 

第三阶段：

 

 

 

3.Spark的特点

①快速

 

一般情况下，对于迭代次数较多的应用程序，Spark程序在内存中的运行速度是Hadoop MapReduce运行速度的100多倍，在磁盘上的运行速度是Hadoop MapReduce运行速度的10多倍。