search

Wanghui-Huang / CQU_bigdata

重庆大学计算机学院“大数据课程群”实验及PPT
143 stars 40 forks source link

实验三：KMeans&Spark分布式实践 云服务器分布式文件系统 上传数据集出错 #7

Closed KarlThelor closed 4 years ago

KarlThelor commented 4 years ago

大数据

通过云服务器将本地文件 iris.data 上传到 hdfs://master:9000/ex/ex3dataset/iris.datat 时，系统提示连接超时。

org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=/47.99.124.142:50010]

将服务器的防火墙关闭也不能解决问题。

yacaikk commented 4 years ago

以阿里云为例，去控制台选择网络与安全下的安全组，配置规则。将连接超时的50010端口开放即可。配置规则如图 QQ图片20201009215521

Wanghui-Huang commented 4 years ago

给师弟手动点赞，一般云服务器网络问题通常都是安全组端口配置问题。为了方便，大家可以设置安全组手动将服务器所有端口开放（存在些安全隐患，长期使用还是别这样）：

Wanghui-Huang commented 4 years ago

已更新到最新文档，所以该issue被关闭。