search

douban / dpark

Python clone of Spark, a MapReduce alike framework in Python
BSD 3-Clause "New" or "Revised" License
2.69k stars 534 forks source link

使用dpark时遇到的问题 #88

Closed wangdi244 closed 5 years ago

wangdi244 commented 6 years ago

您好，我在使用dpark的时候执行测试脚本时遇到loghub变量的问题，我在配置文件中随意填写了一下配置文件名字 日志中报错 2018-09-07 11:44:31 [ERROR] [Process IO] [dpark :140] loghub dir not ready: dpark/2018/09/07/11 不知道该如何解决！

还有一个问题时dpark脚本执行之后能在framework中看到我这个脚本执行了，但是在Sandbox中看不到stderr和stdout.而我测试了mesos的test-framework的python版本的，能在Sandbox中看到输出结果，能否根据test-framework的内容对dpark基本进行修改来满足我这个需求。

麻烦您有时间给解答一下，谢谢

youngsofun commented 6 years ago
  1. $LOGHUb/2018/09/07/11 这个目录目前是 外部 cron 提前建立好的。 并不影响程序执行
  2. dpark 将 executor/task 的 stdout/stderr 都重定向回 scheduler 了，本地就能看到，sandbox 看不到是正常的。