leoChaoGlut / ambari-azkaban-service

Ambari service for Azkaban
25 stars 20 forks source link

脚本启动不了 #2

Closed aly8246 closed 4 years ago

leoChaoGlut commented 4 years ago

小朋友,git是可以看commit记录的,建议看下提交记录.还有,git有个东西叫分支,建议看下最新的分支

aly8246 commented 4 years ago

对不起!是我冲动了,我发现其他作者也是fork您这边的!我弄了好久心态炸了!实在是对不起

leoChaoGlut commented 4 years ago

3.90.0分支支持ambari部署最新的azkaban3.90.0, 测试通过的,可以拿来使用

对不起!是我冲动了,我发现其他作者也是fork您这边的!我弄了好久心态炸了!实在是对不起

aly8246 commented 4 years ago

大佬我想问问download.ini里面有两个tar包的地址现在是404了,我看官方的azkaban的download.ini里面也是这个地址,我可以用旧版本的azkaban吗

leoChaoGlut commented 4 years ago

把azkaban 3.90.0 的代码按官方文档 打好包, 上传到你司服务器上(或者oss), 把download.ini的地址改为你司服务器可访问的url. 即可下载.

aly8246 commented 4 years ago

懂了!非常感谢大佬!实在是对不起了,我先试一试

aly8246 commented 4 years ago

大佬我想问问启动脚本启动不了是怎么回事,感觉好像没有调用到data/azkaban下面的脚本,然后我手动启动那些脚本才能成功 Traceback (most recent call last): File "/var/lib/ambari-agent/cache/stacks/HDP/3.1/services/AZKABAN/package/scripts/azkaban_web.py", line 114, in <module> WebServer().execute() File "/usr/lib/ambari-agent/lib/resource_management/libraries/script/script.py", line 352, in execute method(env) File "/var/lib/ambari-agent/cache/stacks/HDP/3.1/services/AZKABAN/package/scripts/azkaban_web.py", line 74, in start raise Exception('web start failed') Exception: web start failed

我现在把azkaban_web.py里的sleep改长了以后,手动启动/data/azkaban/bin/internal/internal-start-web.sh,ambari里才会显示成功,否则会一直重试也就是还没完成启动

aly8246 commented 4 years ago

对不起大佬哈我找到了改issue标题的方法!

aly8246 commented 4 years ago

终于弄完了,分享一下碰到的几个问题

  1. 无法正常启动executor,是因为我的脚本里没配置.bashrc,所以找不到java,后来我通过修改executor包里的sh脚本,加上了$JAVA_HOME/bin/java就能正常启动了
  2. azkaban-common里的jetty.port默认为10200,和yarn的某个端口冲突了,而azkaban-executor里还有个azkaban-webserver-uri里也有个端口配置,由于我对azkaban不够熟悉所以导致这两个端口没对应上,我后来发现这两个端口要对应上并且不能为10200,所以这里azkaban-webserver-uri里的host其实可以读取webServer的host,port可以读取azkaban-common里的jetty.port,并且把10200默认改成其他端口(建议
  3. Quick Links无法使用,暂未解决。我看quicklinks.json里读取的是azkaban-web.properties,我看它好像不存在于是我改成azkaban.properties,也读不了,我的azkaban-webserver-uri现在设置成了http://hadoop1:10331,其实这个地址就是Quick Links,不知道可不可以修改一下quick links来读取azkaban-executor里的azkaban-webserver-uri