spark源代码action系列-foreach与foreachPartition

发布时间:2017-7-1 11:25:37编辑:www.fx114.net 分享查询网我要评论
本篇文章主要介绍了"spark源代码action系列-foreach与foreachPartition ",主要涉及到spark源代码action系列-foreach与foreachPartition 方面的内容,对于spark源代码action系列-foreach与foreachPartition 感兴趣的同学可以参考一下。

RDD.foreachPartition/foreach的操作

在这个action的操作中:

这两个action主要用于对每一个partition中的iterator时行迭代的处理.通过用户传入的functioniterator进行内容的处理.

首先我们先看看foreach的操作:

fureach,传入一个function,这个函数的传入參数就是每一个partition,每次的foreach得到的一个rddkv实例,也就是详细的内容,这样的处理你并不知道这个iteratorforeach什么时候结果,仅仅能是foreach的过程中,你得到一条数据,就处理一条数据.

由以下的红色部分能够看出,foreach操作是直接调用了partition中数据的foreach操作.

def foreach(f: => Unit): Unit withScope {
  val cleanF = sc.clean(f)
  sc.runJob(this(iter: Iterator[T]) => iter.foreach(cleanF))
}

演示样例说明:

val list = new ArrayBuffer()

Rdd.foreach(record => {

  list += record

  If (list.size >= 10000) {

    list.flush....

  }

})

上面这段演示样例代码中,假设这么使用就会存在一个问题,

迭代的最后,list的结果可能还没有达到10000条,这个时候,你在内部的处理的flush部分就不会运行,也就是迭代的最后假设没有达到10000的数据就会丢失.

所以在foreach中,一般就是拿到一条数据进行下处理Rdd.foreach(record => {record._1 == a return})

 

然后接下来看看foreachPartition:

这个函数也是依据传入的function进行处理,但不同处在于,这里function的传入參数是一个partition相应数据的iterator.而不是直接使用iteratorforeach,

这样的情况下,假设是上面foreach的演示样例代码中list这个片段在这个action中就行正常的去处理.

def foreachPartition(f: Iterator[T] => Unit): Unit withScope {
  val cleanF = sc.clean(f)
  sc.runJob(this, (iter: Iterator[T]) => cleanF(iter))
}

 

演示样例代码:

Val list = new ArrayBuffer

rdd.foreachPartition(it => {

  It.foreach(r => {

List += r

If (list.size > 10000) flush

  })

  If (list.size > 0) flush

})

 

最后说下这两个action的差别:

ForeachforeachPartition都是在每一个partition中对iterator进行操作,

不同的是,foreach是直接在每一个partition中直接对iterator运行foreach操作,而传入的function仅仅是在foreach内部使用,

foreachPartition是在每一个partition中把iterator给传入的function,function自己对iterator进行处理.


上一篇:Linux——网络端口的状态netstat、ifconfig
下一篇:学习shader之前必须知道的东西之计算机图形学(一)渲染管线

相关文章

相关评论

本站评论功能暂时取消,后续此功能例行通知。

一、不得利用本站危害国家安全、泄露国家秘密,不得侵犯国家社会集体的和公民的合法权益,不得利用本站制作、复制和传播不法有害信息!

二、互相尊重,对自己的言论和行为负责。

好贷网好贷款