search

zhangzqs / Zhangzqs.github.io

我的主页
2 stars 0 forks source link

Spark Shell简单应用 | Zhangzqs #60

Open zhangzqs opened 2 years ago

zhangzqs commented 2 years ago

https://zhangzqs.cn/posts/5098/

需求分析 实现给定一个文件，统计其中单词出现的数目。 准备工作 新建文件test.txt如下 123I am a studentI learn hadoopI learn MapReduce 上传到hdfs上 hadoop fs -put test.txt /user/wordcount.txt Spark shell 输入如下命令，即可实现词频统计 12345sc.textFile(