yarn 模式
Spark-shell 现在还不支持 Yarn 模式，使用 Yarn 模式运行，需要把 Spark 程序全部打包成一个jar 包提交到 Yarn 上运行。目录只有 branch-0.8 版本才真正支持 Yarn。以 Yarn 模式运行 Spark。
下载 Spark 代码.
cd spark
git checkout -b yarn --track origin/yarn
切换到 branch-0.8
cd spark
git checkout -b yarn --track origin/yarn
使用 sbt 编译 Spark 并
$SPARK_HOME/sbt/sbt
> package
> assembly
把 Hadoop yarn 配置 copy 到 conf 目录下
运行测试
SPARK_JAR=./core/target/scala-2.9.3/spark-core-assembly-0.8.0-SNAPSHOT.jar \
./run spark.deploy.yarn.Client --jar examples/target/scala-2.9.3/ \
--class spark.examples.SparkPi --args yarn-standalone
使用 Spark-shell
Spark-shell 使用很简单，当 Spark 以 Standalon 模式运行后，使用$SPARK_HOME/spark-shell进入 shell 即可，在 Spark-shell 中 SparkContext 已经创建好了，实例名为 sc 可以直接使用，还有一个需要注意的是，在 Standalone 模式下， Spark 默认使用的调度器的 FIFO 调度器而不是公平调度，而 Spark-shell 作为一个 Spark 程序一直运行在 Spark 上，其它的 Spark 程序就只能排队等待，也就是说同一时间只能有一个 Spark-shell 在运行。
在 Spark-shell 上写程序非常简单，就像在 Scala Shell 上写程序一样。
scala> val textFile = sc.textFile("hdfs://hadoop1:2323/user/data")
textFile: spark.RDD[String] = spark.MappedRDD@2ee9b6e3
scala> textFile.count() // Number of items in this RDD
res0: Long = 21374
scala> textFile.first() // First item in this RDD
res1: String = # Spark
编写 Driver 程序
在 Spark 中 Spark 程序称为 Driver 程序，编写 Driver 程序很简单几乎与在 Spark-shell 上写程序是一样的，不同的地方就是 SparkContext 需要自己创建。如 WorkCount 程序如下：
import spark.SparkContext
import SparkContext._
object WordCount {
def main(args: Array[String]) {
if (args.length ==0 ){
println("usage is org.test.WordCount ")
}
println("the args: ")
args.foreach(println)
val hdfsPath = "hdfs://hadoop1:8020"
// create the SparkContext， args(0)由 yarn 传入 appMaster 地址
val sc = new SparkContext(args(0), "WrodCount",
System.getenv("SPARK_HOME"), Seq(System.getenv("SPARK_TEST_JAR")))
val textFile = sc.textFile(hdfsPath args(1))
val result = textFile.flatMap(line => line.split("\\s "))
.map(word => (word, 1)).reduceByKey(_ _)
result.saveAsTextFile(hdfsPath args(2))
}
案例展示：
