Trex-Group / trex-bigdata

11 stars 6 forks source link

[OS ubuntu]查看hdfs的运行状态命令 失败 #9

Closed Chenxin123008 closed 7 years ago

Chenxin123008 commented 7 years ago

hdfs hdfadmin -report 发生如下错误 hadoop Protocol message tag had invalid wire type

我查了下说要改 core-site.xml或hdfs-site.xml。 这两个文件是徐老师提供的不应该有问题是不是其它那里配置不对? 参考地址 http://stackoverflow.com/questions/31849433/hadoop-protocol-message-tag-had-invalid-wire-type

Chenxin123008 commented 7 years ago

执行hadoop fs -mkdir /input 也会发生上边一样的错误

xiaanyin commented 7 years ago

我按照老师给的pdf手顺手动配置3台,运行hdfs hdfadmin -report的结果是下面这样的。

2017-03-07 1 58 26
xiaanyin commented 7 years ago

能看一下你的/etc/hosts 吗?我用的是 127.0.0.1 localhost Hadoop-NameNode 这种方式,你看看你是不是像下面这样分行写了? 127.0.0.1 localhost 127.0.0.1 Hadoop-NameNode

参考: http://stackoverflow.com/questions/29992952/hadoop-pseudo-distributed-operation-error-protocol-message-tag-had-invalid-wire

xenron commented 7 years ago

大家互动效果不错啊

在回答问题之间,简单说一下,问问题的方法,和解决问题的大致思路。

问问题的时候,最好能把实验到哪一步是正常的,哪一步开始出现的问题。 在哪个节点出现的问题,出现问题的日志和截图(屏幕拷贝),放上来,方便大家参照 同时,可能的话,结合自己的思考,可以尽量简单说说可能是哪里的问题,我个人感觉这也是自己学习的好机会。

解决问题的大致思路 分而治之 大数据环境,涉及到OS,网络,软件,等各种各样的知识,不是单纯学习一下hadoop,或是spark,就能搞定的,确实对综合能力有一定的要求。 troubleshooting 在出现问题的时候,通过网络是否连通,端口是否处于监听状态,是否能telnet连通,进程状态是否正常,等方面,逐一排查

最后,终于。。。开始正式回答问题了 首先,想问一下,出现这个问题的背景,是在课程上提供的VirtualBox镜像环境?自己动手搭建的CentOS-Hadoop环境?Docker环境? 其次,出现问题的是hadoop hdfs 状态监控命令,那么就开始(安装手顺的反方向)逐个排查 1,各个节点的hadoop系统进程,是否正常 2,翻看之前的command记录,查看 hadoop启动命令是否出现错误信息 3,可以的话,最好查看一下log 4,各个节点之间(包括本节点),ssh 免密码登陆是否正常 5,各个节点之间是否网络连通

大体上的思路就是这些,其实不仅仅是这次课程的内容,可能更多时候希望能够传达一些方法论的知识,面对问题,如何拆分成更小的问题,逐个击破。

Chenxin123008 commented 7 years ago

@xiaanyin 谢谢你的回答, 我看了一下host文件确实是分开写的,而且第二行还是ubuntu.

2017-03-07 22 31 38

按照你的提示改了一下,重启后还是有这个问题,我打算按老师的说法再试试。

2017-03-07 23 01 47

改完hosts后运行结果

2017-03-07 22 44 05
Chenxin123008 commented 7 years ago

@xenron 谢谢徐老师的长文回答。 首先表示抱歉,对问题的描述太过粗糙!以后改正。 问题已经解决 》首先,想问一下,出现这个问题的背景,是在课程上提供的VirtualBox镜像环境?自己动手搭建的CentOS-Hadoop环境?Docker环境? 用的是课程上VirtualBox镜像环境 》1,各个节点的hadoop系统进程,是否正常 jps确认时发现NameNode节点没有启动,重新执行以下命令后,Node正常启动 $HADOOP_HOME/bin/hadoop namenode -format $HADOOP_HOME/sbin/start-dfs.sh 》2,翻看之前的command记录,查看 hadoop启动命令是否出现错误信息 昨天的环境已经无法确认啦! 》3,可以的话,最好查看一下log 老师说的是/opt/hadoop-2.7.3/logs/下的*.log文件吧! 》4,各个节点之间(包括本节点),ssh 免密码登陆是否正常 老师的环境,没问题 》5,各个节点之间是否网络连通 网络连接没有问题