【Spark学习笔记】Hadoop&Spark基本操作与第一次运行

[justtreee]

一、HDFS 上传文件

HDFS可以看作一个文件管理系统，和普通PC的本地文件系统很相似。还有图形化的网页界面可供查看。HDFS的原理还需要学习。

以下命令需要在Hadoop开启之后才能使用。

1. 创建目录命令 HDFS有一个默认的工作目录/user/$USER，其中$USER是用户的登录用户名。不过目录不会自动建立，需要mkdir建立它 命令格式：hadoop dfs -mkdir 如在home目录下创建pc目录：

   hadoop dfs -mkdir /home/pc

   注意：Hadoop的mkdir命令会自动创建父目录，类似于带-p的ＵＮＩＸ命令

２. 上传文件命令 put命令从本地文件系统中复制单个或多个源路径到目标文件系统，也支持从标准输入设备中读取输入并写入目标文件系统。分为本地上传和上传到HDFS中。 命令格式：hadoop fs -put filename 如放本地文件系统的一个文件进去

hadoop fs -put example.txt

最后一个参数是句点，相当于放入了默认的工作目录，等价于hadoop fs -put example.txt /home/pc。

3. 上传文件到HDFS 上传文件时，文件首先复制到DataNode上，只有所有的DataNode都成功接收完数据，文件上传才是成功的。 命令格式：hadoop dfs put filename newfilename 如： 通过“-put 文件1 文件2 ”命令将Hadoop目录下的test1文件上传到HDFS上并重命名为test2

   hadoop dfs -put test1 test2

4. 列出HDFS目录下某个文档的文件 通过“-ls 文件夹名” 命令浏览HDFS下文件夹中的文件 命令格式：hadoop dfs -ls 文件夹名 如： 浏览HDFS中in文件夹中的文件

   hadoop dfs -ls in

   通过该命令可以查看in文件夹中的所有文档文件

5. 查看HDFS下某个文件的内容 通过“-cat 文件名”命令查看HDFS下文件夹中某个文件的内容 命令格式：hadoop$ bin/hadoop dfs -cat 文件名 如： 查看HDFS下in 目录中的内容 hadoop$ bin/hadoop dfs -cat in/* 通过这个命令可以查看in文件夹中所有文件的内容

6. 将HDFS中的文件复制到本地系统中 通过“-get 文件按1 文件2”命令将HDFS中某目录下的文件复制到本地系统的某文件中，并对该文件重新命名。 命令格式：hadoop dfs -get 文件名 新文件名 如： 将HDFS中的in文件复制到本地系统并重命名为IN1 hadoop dfs -get in IN1 -get 命令与-put命令一样，既可以操作目录，也可以操作文件

7. 删除HDFS下的文档 通过“-rmr 文件”命令删除HDFS下的文件 命令格式：hadoop$ bin/hadoop dfs -rmr 文件 如： 删除HDFS下的out文档 hadoop dfs -rmr out -rmr 删除文档命令相当于delete的递归版本。

8. 格式化HDFS 通过-format命令实现HDFS格式化 命令格式：user@NameNode:hadoop$ bin/hadoop NameNode -format

进入http://localhost:50070/后可以看到：

二、集群运行自带GraphX程序

这里直接使用已经打包在spark/example/jars/目录下的spark-example的jar包。 在命令行下使用

spark-submit --class org.apache.spark.examples.graphx.ComprehensiveExample /usr/local/spark/examples/jars/spark-examples_2.11-2.2.0.jar

运行结果

【待解决】 但是有个问题，在spark Web UI 没有任务显示出来：

三、我的第一个程序

我的提交命令： 【==========================】 【待解决：找不到对象？？？】