[Model] Loss Weight 주입

[dbsrlskfdk]

현재 상황과 문제점

• no-relation 을 어떤 라벨이던지, 너무 자주 예측하는 문제점

• 55

개선 제안 사항

• Loss에 가중치를 줘서, 업데이트 될 때 패널티를 주도록 구성.
• CrossEntropyLoss(weight=[]) weight 파라미터로 label별 가중치를 줄 수 있다.
• 가중치는 어떻게 도출?
  • 전체 라벨 갯수 / 특정 라벨 갯수 를 가중치로 사용. 많은 라벨 갯수를 가지는 것에 대해 패널티를 갖도록

    per:place_of_death                     811.750000
    org:number_of_employees/members        676.458333
    org:dissolved                          491.969697
    per:schools_attended                   395.975610
    per:religion                           338.229167
    org:political/religious_affiliation    331.326531
    per:siblings                           238.750000
    per:product                            233.597122
    org:founded_by                         209.483871
    per:place_of_birth                     195.602410
    per:other_family                       170.894737
    per:place_of_residence                 168.238342
    per:children                           106.809211
    org:product                             85.447368
    per:date_of_death                       77.679426
    org:members                             77.309524
    org:founded                             72.155556
    per:parents                             62.442308
    per:colleagues                          60.805243
    per:spouse                              40.842767
    per:alternate_names                     32.437562
    per:date_of_birth                       28.734513
    org:place_of_headquarters               27.171548
    per:origin                              26.312804
    org:alternate_names                     24.598485
    org:member_of                           17.400857
    per:title                               15.439848
    per:employee_of                          9.087601
    org:top_members/employees                7.579365
    no_relation                              3.405706

성능 개선 기대점

• no-relation에 대한 예측이 덜해져서, micro-f1이 좋아질 것으로 생각.

[dbsrlskfdk]

생각보다 성능이 더 떨어짐... 테스트 데이터에도 no-relation으로 되어있는 것이 많을 수 있기에, 조금 위험한 생각이었나봄

[lig96]

no_relation이 많으면 오히려 이것에 대한 가중치를 높여야 하는 게 아닌가 싶습니다. 윤기님 말대로 test 데이터에도 no_relation이 많으니까요 [1.2 1 1 1 1] 대충 이정도로 돌리면 좋아지지 않을까.........싶습니다.