黑马python（二十六）

目录:

1.大数据分布式集群运行综合案例开发

2.高阶-闭包

3.装饰器

4.设计模式-单例模式

5.设计模式-工厂模式

1.大数据分布式集群运行综合案例开发

我们把写的代码，提交到大数据hadoop集群中，分布式集群上去运行，了解一下，具体运行效果

hadoop集群

把上一节的案例，提交到这三台集群中

这个是文件大小，大约4个gb

现在在大数据集群上去运行一个gb级别的分布式Spark代码的运行

针对这个大文件，我们的需求是否能在分布式集群中去跑下来呢

把上面的集群代码放到里面：

去提交代码到集群:

进入监控页面：

监控页面，换成ip地址开头： 

 

需求一计算完成了：

等一会需求2也完成了： 

需求3：

需求4慢一点，他要写数据到文件：

写出完成

内容也写成功了 

有总共花费2.9分钟

4个jb的文件，还是非常大的，如果做数据统计，如果不放到分布式集群中跑花费时间更长，在大数据集群中几分钟就好了

2.高阶-闭包

有个全局变量，其他程序可能篡改 

inner依赖一个外部变量，内部函数可以叫做闭包函数 ，外部变量也是可以使用的，

 

3.装饰器

利用闭包：

直接写一个函数也可以： 

4.设计模式-单例模式

单例模式只是一种模式，并不是任何时候都去使用过他，某些场景下，只需要一个对象就够了，比如说字符串的工具类，没必要用一次就构建一个对象，构建一次重复去使用

5.设计模式-工厂模式