search

wangzhenhui1991 / Notes

3 stars 0 forks source link

HadoopOnWindows #3

Open wangzhenhui1991 opened 7 years ago

wangzhenhui1991 commented 7 years ago

1.Hadoop Install & Configuration

以推荐顺序为优先级 Build and Install Hadoop 2.x or newer on Windows Install_Hadoop-2.6.0_on_Windows10 官方Apache Hadoop 2.6.0不包含运行hadoop的winUtils.exe HOW TO INSTALL APACHE HADOOP 2.6.0 IN UBUNTU (MULTI NODE/CLUSTER SETUP)

给力星-hadoop-系列教程

Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0,用来参考hadoop的基本使用问题，ex:如何格式化hdfs.namenode，启动dfs,yarn,运行jar Hadoop集群安装配置教程 使用Eclipse编译运行MapReduce程序 hadoop-配置文件-参数对应表

eclipse中mapReduce 的插件放到 dropins,而不是plugins ssh:保证username相同，否则需要指定{user}@{host}登录,而且要修改主机名. git Bash与 cygwin的冲突问题,cygwin和gitBash都自身集成了ssh,但是当使用start-dfs.sh命令启动时，会默认启动gitBash中的ssh，但是gitBash的密钥又不跟cygwin共享,所以直接把git卸载了。

  • [ ] win下dataNode主机无法启动taskTarcker和dataNode，不知道是定的slaves文件无效 还是 win下环境不支持，而且ssh都没什么问题。

2.Hadoop In Practice

用MapReduce实现WebCount 国人写的wordCount例子分析-详细-易于理解MapReducehadoop MapReduce实例解析

2.Spark

Spark快速入门指南

wangzhenhui1991 commented 7 years ago

　　0、查看状态 　　　　bin/hdfs dfsadmin -report

　　1、创建文件目录 　　　　bin/hdfs dfs -mkdir /in/input2

　　2、删除目录 　　　　bin/hdfs dfs -rmr /in/input2　　删除input2目录及目录下的文件，相当于linux的rm -rf

　　3、删除文件 　　　　bin/hdfs dfs -rm /in/input2/aa.txt　　删除input2目录下的aa.txt文件

　　4、查看文件内容 　　　　bin/hdfs dfs -cat /in/input/aa

　　5、上传文件 　　　　上传本机../input/目录下的文件 到 hdfs中的/in目录下 　　　　bin/hdfs dfs -put ../input/ /in

　　6、下载文件 　　　　下载hdfs中/in/input/目录下的aa文件 到本机 ../output/目录下，文件名也为aa 　　　　bin/hdfs dfs -get /in/input/aa ../output/aa

　　7、查看文件列表 　　　　bin/hadoop fs -ls /in/input/　　或　　bin/hdfs dfs -ls /in/input/

　　8、查看HADOOP机架信息 　　　　bin/hdfs dfsadmin -printTopology

　　9、查看yarn 　　　　yarn node –list

wangzhenhui1991 commented 7 years ago

Hadoop-中文-官方-详细-介绍Hadoop文档 mapReduce完整-详细-官方解释Hadoop Map/Reduce教程-

wangzhenhui1991 commented 7 years ago

在面对什么数据级别适用于hadoop的时候，有些疑问对Hadoop的一些疑问

wangzhenhui1991 commented 7 years ago

Hdoop core-site.xml的参数详情