2023年Spark实验报告.pdf

《2023年Spark实验报告.pdf》由会员分享，可在线阅读，更多相关《2023年Spark实验报告.pdf（12页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、 Spark 报 告 金航 1510122526 精选文档 2 Spark 实验报告 一、环境搭建 1、下载 scala2.11.4 版本 下载地址为：http:/www.scala-lang.org/download/2.11.4.html 2、解压和安装：解压：tar-xvf scala-2.11.4.tgz 安装：mv scala-2.11.4/opt/3、编辑/.bash_profile 文件 增加 SCALA_HOME 环境变量配置，export JAVA_HOME=/home/spark/opt/java/jdk1.6.0_37 export CLASSPATH=.:$JAVA_H

2、OME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar export SCALA_HOME=/home/spark/opt/scala-2.11.4 export HADOOP_HOME=/home/spark/opt/hadoop-2.6.0 PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$SCALA_HOME/bin 立即生效 source/.bash_profile 4、验证 scala：scala-version 5、copy 到 slave 机器 scp/.bash_profile spark10.126.45

3、.56:/.bash_profile 6、下载 spark，wget http:/7、在 master 主机配置 spark：将下载的 spark-1.2.0-bin-hadoop2.4.tgz 解压到/opt/即/opt/spark-1.2.0-bin-hadoop2.4，配置环境变量 SPARK_HOME#set java env export JAVA_HOME=/home/spark/opt/java/jdk1.6.0_37 export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar exp

4、ort SCALA_HOME=/home/spark/opt/scala-2.11.4 export HADOOP_HOME=/home/spark/opt/hadoop-2.6.0 export SPARK_HOME=/home/spark/opt/spark-1.2.0-bin-hadoop2.4 PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$HADOOP_HOME/bin 配置完成后使用 source 命令使配置生效 精选文档 3 进入 spark conf 目录：sparkS1PA11 opt$

5、cd spark-1.2.0-bin-hadoop2.4/sparkS1PA11 spark-1.2.0-bin-hadoop2.4$ls bin conf data ec2 examples lib LICENSE logs NOTICE python README.md RELEASE sbin work sparkS1PA11 spark-1.2.0-bin-hadoop2.4$cd conf/sparkS1PA11 conf$ls fairscheduler.xml.template metrics.properties.template slaves.template spark-e

6、nv.sh log4j.properties.template slaves spark-defaults.conf.template spark-env.sh.template first：修改 slaves 文件，增加两个 slave 节点 S1PA11、S1PA222 sparkS1PA11 conf$vi slaves S1PA11 S1PA222 second：配置 spark-env.sh 首先把 spark-env.sh.template copy spark-env.sh vi spark-env.sh 文件 在最下面增加：export JAVA_HOME=/home/spar

7、k/opt/java/jdk1.6.0_37 export SCALA_HOME=/home/spark/opt/scala-2.11.4 export SPARK_MASTER_IP=10.58.44.47 export SPARK_WORKER_MEMORY=2g export HADOOP_CONF_DIR=/home/spark/opt/hadoop-2.6.0/etc/hadoop HADOOP_CONF_DIR 是 Hadoop 配置文件目录，SPARK_MASTER_IP 主机 IP 地址，SPARK_WORKER_MEMORY 是 worker 使用的最大内存 完成配置后，将

8、spark 目录 copy slave 机器 scp-r/opt/spark-1.2.0-bin-hadoop2.4 spark10.126.45.56:/opt/8、启动 spark 分布式集群并查看信息 sparkS1PA11 sbin$./start-all.sh 查看：sparkS1PA11 sbin$jps 31233 ResourceManager 27201 Jps 30498 NameNode 30733 SecondaryNameNode 精选文档 4 5648 Worker 5399 Master 15888 JobHistoryServer 如果 HDFS 没有启动，启动

9、起来.查看 slave 节点：sparkS1PA222 scala$jps 20352 Bootstrap 30737 NodeManager 7219 Jps 30482 DataNode 29500 Bootstrap 757 Worker 9、页面查看集群状况：进去 spark 集群的 web 管理页面，访问 因为我们 看到两个 worker 节点，因为 master 和 slave 都是 worker 节点 我们进入 spark 的 bin 目录，启动 spark-shell 控制台 精选文档 5 访问 http:/master:4040/，我们可以看到 spark WEBUI 页面

10、精选文档 6 精选文档 7 spark 集群环境搭建成功了 10、运行 spark-shell 测试 之前我们在/tmp 目录上传了一个 README.txt 文件，我们现在就用 spark 读取 hdfs 中README.txt 文件 精选文档 8 取得 hdfs 文件：count 下 READM.txt 文件中文字总数，我们过滤 README.txt 包括 The 单词有多个 我们算出来 一共有 4 个 The 单词 我们通过 wc 也算出来有 4 个 The 单词 我们再实现下 Hadoop wordcount 功能：首先对读取的 readmeFile 执行以下命令：精选文档 9 其次使

11、用 collect 命令提交并执行 job:我们看下 WEBUI 界面执行效果：精选文档 10 精选文档 11 二、统计单词个数例子,使用 spark api WordCount:步骤 1：val sc=new SparkContext(args(0),“WordCount”,System.getenv(“SPARK_HOME”),Seq(System.getenv(“SPARK_TEST_JAR”)val textFile=sc.textFile(args(1)val inputFormatClass=classOfSequenceFileInputFormatText,Text var h

12、adoopRdd=sc.hadoopRDD(conf,inputFormatClass,classOfText,classOfText)步骤 3：精选文档 12 val result=hadoopRdd.flatMap case(key,value)=value.toString().split(“s+”);.map(word=(word,1).reduceByKey(_+_)将产生的 RDD 数据集保存到 HDFS 上。可以使用 SparkContext 中的saveAsTextFile 哈数将数据集保存到 HDFS 目录下，默认采用 Hadoop 提供的 TextOutputFormat，

13、每条记录以“(key,value)”的形式打印输出，你也可以采用 saveAsSequenceFile 函数将数据保存为 SequenceFile 格式等，result.saveAsSequenceFile(args(2)当然，一般我们写 Spark 程序时，需要包含以下两个头文件：import org.apache.spark._import SparkContext.需要注意的是，指定输入输出文件时，需要指定 hdfs 的 URI，比如输入目录是hdfs:/hadoop-test/tmp/input，输出目录是 hdfs:/hadoop-test/tmp/output，其中，“hdfs:/hadoop-test”是由 Hadoop 配置文件 core-site.xml 中参数fs.default.name 指定的，具体替换成你的配置即可。