执行swift 时候报hadoop 找不到

[zhenxinxu]

想请问下，用户执行的时候，这个Hadoop是镜像自带的，还是需要用户宿主机上有呀？

[dyuyang]

可以用镜像自带，也能指定用户自己的hadoop

[zhenxinxu]

但是我登录镜像执行, 发现镜像里面没有hadoop呀，镜像本身没有呀 registry.cn-hangzhou.aliyuncs.com/havenask/ha3_runtime:1.0.0

[zhenxinxu]

n/

请教您一下，我在单机启动havenask 的时候，swift启动报错了，然后我登录容器找到进程kill，自己启动process_starter.sh 这个脚本，我发现没有hadoop，然我找了下，确实没有hadoop，镜像自带的好像也没有hadoop

[dyuyang]

在/usr/local/hadoop/hadoop/有hadoop，可以参考hape/hape_conf/default/cluster_templates/swift/config/swift_hippo.json，里面有个HADOOP_HOME，默认情况下是渲染成这个路径的，可以发一下你的processor_starter吗，里面应该有这个被渲染的变量

[dyuyang]

在/usr/local/hadoop/hadoop/有hadoop，可以参考hape/hape_conf/default/cluster_templates/swift/config/swift_hippo.json，里面有个HADOOP_HOME，默认情况下是渲染成这个路径的，可以发一下你的processor_starter吗，里面应该有这个被渲染的变量

[zhenxinxu]

请假一下您，processor_starter 这个是在哪个路径下呀 这个确实有这个配置

[zhenxinxu]

好像渲染出来的process_start.sh 多了不少东西

[zhenxinxu]

删除一些无用代码后，再启动就一直报 root@127.0.0.1: Permission denied (publickey,password) 这个错误，起不来

[dyuyang]

可以贴一下swift.log吗，看起来这几个ERROR好像不是关键点 另外，无用代码是什么？

[zhenxinxu]

就是这段看起来是我宿主机上的hadoop地址，我想请问下您，默认的hadoop配置是镜像自带的吧？

[zhenxinxu]

基本上swift 里的log都是报这个错误

[zhenxinxu]

另外我昨晚手动启动的时候，就一直报这个错误，google一下，配置了ssh，但是我发现还是不行，还是报这个错误

[zhenxinxu]

这个地方的env的设置不知道为啥在启动swift的时候，把我宿主机上的PATH 给加到了这个env上，挺奇怪的，我是在容器启动havenask的，同时拉起swift ，但是swift 中的process_start.sh 里面有我宿主上的path

[dyuyang]

我把hdfs这块的文档细化一下

[zhenxinxu]

swift.log

swift_broker也没有起来，创建表的时候就报错了

[dyuyang]

hdfs相关的文档细化了一下，看看能不能解决https://github.com/alibaba/havenask/blob/main/docs/havenask_docs/Hape%E5%A4%9A%E6%9C%BA%E6%A8%A1%E5%BC%8F.md#hdfs%E9%85%8D%E7%BD%AE

[zhenxinxu]

默认的default的配置应该是单机吧？

[dyuyang]

没仔细看，一看到你说hadoop，以为是在用多机模式 单机应该是不用hadoop的，配置里写上只是为了统一、方便 看swift.log主要问题应该还是在broker启动不起来上面，能否再发一下你的swift admin工作目录下的hippo.log？

[zhenxinxu]

hippo.log 嗯，是的，就是broker起不来，导致topic创建不了，创建表的时候需要topic，所以失败了，这个是hippo.log

[zhenxinxu]

havenask_container_root_havenask-swift-local_0 我登录这个容器，后发现 havenask-swift-local_appmaster目录下的 process_starter.sh 这个文件里面的内容将我的宿主机上的PATH 涵盖进来了，导致在执行这个脚本的时候报错了 USER=root HOME=/root PATH=/ha3_install/usr/local/bin:/export/servers/software/anaconda3/bin:/export/servers/software/anaconda3/condabin:/export/servers/software/hadoop-2.7.1/bin:/export/servers/software/hadoop-2.7.1/sbin:/export/servers/software/jdhive-2.0.0-HADOOP-2.7.1/bin:/export/servers/software/spark-2.1.0/bin:/export/servers/software/pig-0.15.0/bin:/export/servers/software/jdk1.8.0_121/bin:usr/local/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/Arcconf LD_LIBRARY_PATH=/usr/local/lib64/ssl/lib64:/usr/lib:/usr/lib64:/opt/taobao/java/jre/lib/amd64/server:/ha3_install/usr/local/lib:/ha3_install/usr/local/lib64 HADOOP_HOME=/usr/local/hadoop/hadoop/ JAVA_HOME=/opt/taobao/java HIPPO_LOCAL_SCHEDULE_MODE=true MULTI_SLOTS_IN_ONE_NODE=true CUSTOM_CONTAINER_PARAMS=LS12b2x1bWU9Ii9ldGMvaG9zdHM6L2V0Yy9ob3N0czpybyIgLS11bGltaXQgbm9maWxlPTY1NTM1MDo2NTUzNTAgIC0tdWxpbWl0IG1lbWxvY2s9LTEgLS11bGltaXQgY29yZT0tMSAtLW5ldHdvcms9aG9zdCAtLXByaXZpbGVnZWQgLWQg swift_admin -c zfs://127.0.0.1:2181/havenask/havenask-swift-local/config/1698755990 -d -l /ha3_install/usr/local/etc/swift/swift_alog.conf -w . 1> stdout.log 2>stderr.log

[zhenxinxu]

我手动进去执行process_start.sh 的时候，发现了执行退出码是255

[zhenxinxu]

早上捣鼓了一下，broker起来了，但是创建表还是有问题，我看了下hippo.log 一直在重复打印这个日志

[zhenxinxu]

swift.log 里面的日志，看起来像是socket 连接失败

[dyuyang]

我发现你用的账号是root？这个排查文档里面有写，目前版本不建议使用root账号来创建hape，容易出各种问题 https://github.com/alibaba/havenask/blob/main/docs/havenask_docs/Hape%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98%E4%B8%8E%E6%8E%92%E6%9F%A5.md#%E5%88%9B%E5%BB%BA%E8%BF%9B%E7%A8%8B%E4%B8%8D%E6%88%90%E5%8A%9F

[zhenxinxu]

这个充分权限怎么理解呀？是说拥有root权限相同的权限吗？

[dyuyang]

之前遇到过一些特殊情况下用户账号虽然是，但是在/home/下不能ls也不能mkdir

[zhenxinxu]

明白了，非常感谢！！！，我再去试试

[zhenxinxu]

另外问一下您，您那边有计划解决这个root账号启动的各种问题吗？

[dyuyang]

之前也有用户遇到了，近期我们会看看如何解决这个问题 其实不是引擎导致的，是调度这块有点问题

[zhenxinxu]

好嘞，多谢多谢，不能用root启动确实有许多麻烦