search

Trex-Group / trex-bigdata

11 stars 6 forks source link

spark1作业第一题启动spark shell好像失败了 #43

Closed jplijplijpli closed 7 years ago

jplijplijpli commented 7 years ago

image image

报了一堆错，还没有spark context image

Node好像正常启动了 image

请问有成功的同学吗？

jplijplijpli commented 7 years ago

运行spark-submit到好像成功了 image image

jplijplijpli commented 7 years ago

指定了master结果也是一样 image

LiuMing5489 commented 7 years ago

记不太清楚了。好像是需要把 Hadoop-NameNode Hadoop-DateNode-1 Hadoop-DateNode-2 添加到 /etc/hosts 里面

还有就是启动spark-shell之前，需要启动hadoop

LiuMing5489 commented 7 years ago

嗯，在自己的环境下验证了一下， 不启动hadoop的时候和你的是一样的错误。

jplijplijpli commented 7 years ago

原因是：shell模式执行，script里面要求链接hadoop