数据百科

您现在的位置是:首页 > 大数据 > Spark

oracle

强化spark概念

2019-12-25 22:59:27数据百科
概念Transformation用来从存在的rdd产生新rdd。rdd图系,成为rdd操作图或者rdd依赖图。是逻辑执行计划,有向无循环图DAG,Transformation是懒惰执行,当执行Action时才被执行。分类

概念

Transformation

用来从存在的rdd产生新rdd。

rdd图系,成为rdd操作图或者rdd依赖图。是逻辑执行计划,有向无循环图DAG,

Transformation是懒惰执行,当执行Action时才被执行。

分类

根据RDD转换前后数据集大小变化来分类:
    不变:map()
    变大:flatMap(), union(), Cartesian()
    变小:filter, count, distinct, sample
    
根据被用来计算的元素是否存在于父RDD的一个分区中来分类:
    Narrow transformation:
        窄转换,被用来计算的元素存在于父RDD的一个分区中。
        举例:map(), filter(),sample(),union()
    Wide transformation:
        广泛转换,被用来计算的元素存在于父RDD的多个分区中。
        举例:groupbyKey() ,join(), reducebyKey()

Action

acton和真实的数据集打交道。

action的值存到drivers或者外部存储系统。

action让rdd从懒执行到真移动。

action会产生非RDD结果值。

辨析

map() VS flatmap()

相同:接收RDD的一行作为输入,在行上执行function

区别:
    map 一个输入对应一个输出。可以用来输出每一行的长度。
    faltmap 一个输入可能对应多个输出。经常用来拆分单词

map() VS mapPartitions()

相同:都可以实现给出一个函数,去映射RDD中所有元素的效果。

区别:可编程的细粒度有区别
    map 对一个元素进行编程。
    mapPartitions 对一个分区进行编程。比如当用到外部数据库
    连接时常用,一个分区使用一个连接,而不是每一个元素使用一
    个连接。
    

mapPartitions() VS mapPartitionsWithIndex()

区别:
    mapPartitionsWithIndex 另外有一个表示分区下标编号参数。

reduce() VS fold()

相同:都有两个元素作为输入,产生的与元素相同类型的输出。

区别:
    reduce 多了一个初始化的输入。
    reduce 空集合抛出异常,fold 可以兼容空集合。
    

数量

分区数,任务数,CPU核心数。

这些数量的设置跟程序调优息息相关。
    很抱歉没有了 很抱歉没有了