모델 성능 측정 metric 제안

[kmu-leeky]

현재는 relative error 를 사용중이지만, regressor 모델의 성능 측정에는 coefficient of determination 이 널리 활용됨 (R^2)

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.r2_score.html

[mjaysonnn]

넵

r2 metric 기준으로 Bayesian Optimization을 돌려 결과값들을 정리해보겠습니다.

[mjaysonnn]

4개의 row 추가

128,3000000,128,10035.0 128,5000000,128,16773.0 128,6000000,128,19394.0 128,7000000,128,22087.0

latency-1.1-duplicate-removal.csv

metric	rf	gb	linear regression	gb with no BO
r2	0.851389130085%	0.875557786902%	-0.175686179016%	0.837423814676%
rmse	15.131294%	15.5321152104%	127.802450764%

특이점 -> linear regression의 경우 r2가 음수라서 그래프 그릴때 반영 해야할까요? 0.06 이 나온 적도 있는데 0.06로 그래프를 만들까요?

각 model마다의 r2 측정 코드

rf gb linear regression

[kmu-leeky]

@mjaysonnn linear regression 의 경우 초반에 음의 값이 너무 크게 나와버리네 (그림을 보니). linear regression 보다는 nnls (non-negative least squares) 를 사용해보는게 더 좋을것 같은데.. 처음에 했던 걸로 해서 한번 더 해볼래?

[kmu-leeky]

그리고 linear regression 과 GB 노트북의 마지막에 있는 그림 좋네. 하나씩 추가해줘도 좋겠다.

[mjaysonnn]

넵 nnls 한번 해보겠습니다.

[kmu-leeky]

오케이. RF/GB/NNLS 숫자 비율이 논문에서 얘기하기 좋게 잘나왔다 ㅎㅎ 그럼 R^2 메트릭으로 해서 RF/GB/NNLS 를 비교하는 바 그래프를 하나 그리고, 전에 보여줬던 predicted-measured 그래프를 GB 와 NNLS 를 추가 해서 그려주면 두번째 실험 결과로 충분하겠다.

[mjaysonnn]

옙! linear regression은 제외하고 nnls로 해서 만들어보겠습니다~

[mjaysonnn]

http://203.246.113.170:8891/notebooks/Ernest/ernest-predictor-nnls-with-r2.ipynb

교수님 50번 iteration 에 전체 데이터를 10-Fold로 할 경우 r2_score가

음수가 나오네요 음 . ernest 처럼 전체데이터로 해버릴까요? ㅎㅎ 그러면 score가 저 정도 나오긴 합니다.

(실험 환경을 맞춰야하니 아닌거같기도 하구요..??)

[kmu-leeky]

using R^2