search

swsnu / bd2018

25 stars 10 forks source link

Nemo 환경에서 발생하는 에러 문의 #6

Open jhshim0326 opened 5 years ago

jhshim0326 commented 5 years ago

안녕하세요.

본 과제 스펙인 UDF Function에서 external lib 사용을 위해

org.apache.commons.text.CaseUtils

이 lib를 사용하기로 결정해서 현재 구현한 상태입니다.

Spark 환경에서는 아무 문제없이 동작하는데, Nemo로 돌릴 시

REEF에서 돌다가 멈춰버리네요. 이 부분에 대해 도움을 주실 수 있을까요?

일부 에러를 첨부합니다.

Oct 30, 2018 1:00:11 AM org.apache.reef.runtime.common.client.RuntimeErrorProtoHandler onNext 경고: socket://172.30.1.57:59819 Runtime Error: Thread main threw an uncaught exception. Oct 30, 2018 1:00:11 AM org.apache.reef.client.DriverLauncher$RuntimeErrorHandler onNext 심각: Received a resource manager error Oct 30, 2018 1:00:11 AM org.apache.reef.wake.remote.DefaultErrorHandler onNext 심각: No error handler in RemoteManager java.lang.RuntimeException: Trying to remove a RunningJob that is unknown: BD_HW_ONE at org.apache.reef.runtime.common.client.RunningJobsImpl.remove(RunningJobsImpl.java:124) at org.apache.reef.runtime.common.client.RunningJobsImpl.onRuntimeErrorMessage(RunningJobsImpl.java:95) at org.apache.reef.runtime.common.client.RuntimeErrorProtoHandler.onNext(RuntimeErrorProtoHandler.java:49) at org.apache.reef.runtime.common.client.RuntimeErrorProtoHandler.onNext(RuntimeErrorProtoHandler.java:33) at org.apache.reef.wake.remote.impl.HandlerContainer.onNext(HandlerContainer.java:223) at org.apache.reef.wake.remote.impl.HandlerContainer.onNext(HandlerContainer.java:39) at org.apache.reef.wake.remote.impl.OrderedPullEventHandler.onNext(OrderedRemoteReceiverStage.java:160) at org.apache.reef.wake.remote.impl.OrderedPullEventHandler.onNext(OrderedRemoteReceiverStage.java:141) at org.apache.reef.wake.impl.ThreadPoolStage$1.run(ThreadPoolStage.java:182) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)

johnyangk commented 5 years ago

Spark에서 잘 작동한다면, Nemo 내부 문제인 것 같습니다. 해당 코드가 있는 Private repository의 branch를 알려주시면 살펴보겠습니다.

jhshim0326 commented 5 years ago

https://github.com/jhshim0326/bd17f-JaeHunShim 입니다.

johnyangk commented 5 years ago

pitching.csv 파일도 제공해주실 수 있으실까요? 저는 file read에서 에러가 납니다.

jhshim0326 commented 5 years ago

download_datasets.sh 를 빼두었었네요. push했습니다.

johnyangk commented 5 years ago

run_nemo.sh Script에 문제가 있었습니다. shaded를 쓰지 않아서 external lib을 찾지 못하고 있었습니다.

https://github.com/swsnu/bd2018/commit/0a15c72927b4c74fb1f0927859e971236afb70f6

위에서처럼, Line9 끝에서 '-shaded.jar' 를 추가하면 됩니다. 변경해보시고 잘 작동하는지 확인 부탁드립니다.

jhshim0326 commented 5 years ago

감사합니다 해결되었습니다!