spark

spark

1. 比起hadoop hr在于快。。

2.spark 利用 delay schedule来解决速度。（简单的来说就是延迟很短的时间来看本机是否可以利用。而不是copy）

3.支持3种语言

scala(2.10.x)

python（推荐python2.7。。最好不要用3.0以上的）

java（请用java8） （java8以前版本的太慢了。不推荐使用）

4.有4种模式看可以运行 local（多用于测试） yran mesos standalone

这里有必要说下scala语言

基于jvm的fp+oo

与java互操作

var x: Int =7

def square(x:Int):Int =x*x

def square(x:Int):Int ={x*x} //在block中的最后一个值将被返回

def square(x:Int):Int ={print.....} //不返回

scala-fp的方式处理集合

val list=(1,2,3)

list.foreach(x=>println(x))

list.map(_+2)

。。。

自己可以去看看。

spark runtime

driver program

sparkcontext cluster manager 2个worker node （executor cache task ,task ）

核心抽象

resilient distriuted dataset

a list of partitions

a function for computing each split

a list of dependencies on other rdds

上面是必要的

还有3点，这里不介绍了

如何创建rdd

直接从集合转化

从各种(分布式)文件系统来