做二手网站,莱州信息网电话,如何做网站的链接结构,网站建设_免费视频文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州 ▲ 本章节目的
⚪ 掌握Spark的常用案例——WordCount；
⚪ 掌握Spark的常用案例——求平均值；
⚪ 掌握Spark的常用案例——求最大值和最小值；
⚪ 掌握Spark的常用案例——TopK；
⚪ 掌握Spark的常用案例…文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州 ▲ 本章节目的
⚪ 掌握Spark的常用案例——WordCount；
⚪ 掌握Spark的常用案例——求平均值；
⚪掌握Spark的常用案例——求最大值和最小值；
⚪掌握Spark的常用案例——TopK；
⚪掌握Spark的常用案例——二次排序； 一、案例——WordCount
1. 实现步骤
1. 创建spark的项目，在scala中创建项目 导入spark相关的jar包。 2. 开发spark相关代码。 代码示例： import org.apache.spark.SparkConf import org.apache.spark.SparkContext object WordCountDriver { def main(args: Array[String]): Unit = { val conf=new SparkConf().setMaster("spark://hadoop01:7077").setAppName("wordcount") val sc=new SparkContext(conf) val data=sc.textFile("hdfs://hadoop01:9000/words.txt", 2) val result=data.flatMap { x = x.split(" ") }.map { x = (x,1) }.reduceByKey(_+_) result.saveAsTextFile("hdfs://hadoop01:9000/wcresult") } } 3. 将写好的项目打成jar，上传到服务器，进入bin目录。 执行：spark-submit --class cn.tedu.WordCountDriver /home/software/spark/conf/wc.jar 二、案例——求平均值
案例文件：
1 16
2 74
3 51
4 35
5 44
6 95
7 5
8 29
10 60
11 13
12 99
13 7
14 26
正确答案：
42
代码示例一： import org.apache.spark.SparkConf import org.apache.spark.SparkContext object AverageDriver { def main(args: Array[String]): Unit = { val conf=new SparkConf().setMaster("local").setAppName("AverageDriver") val sc=new SparkContext(conf)
