[model] Add UltraGCN model

[Gangtaro]

💡 Issue

lightgcn baseline에 Ultragcn 모델을 추가하고자 합니다. 오늘 피어세션까지 자원자 없을시, 제가 하도록 하겠습니다.

*추가

• lightgcn 폴더로 관리하고 있는중이라, 여기에 바로 Ultragcn이 들어가는 것이 맞지 않다고 생각하기 때문에, Ultragcn model이 기존의 lightgcn baseline에 포함시킬 수 있다면, 기존의 lightgcn 상위 폴더의 이름을 gcn으로 변경하고 관리하고자합니다.
• ultragcn과 관련된 참고문서는 추후에 업데이트 하도록 하겠습니다.

📝 TODO

• [x] ultragcn code 탐색
• [ ] lightgcn 상위 폴더 명 gcn으로 변경
• [ ] ultragcn 추가

📚 Reference

• paper: UltraGCN: Ultra Simplification of Graph Convolutional Networks for Recommendation
• papers with code: https://github.com/xue-pai/ultragcn

[dongseoklee1541]

나다 싶으면 손드세요

[Gangtaro]

UltraGCN 모델의 논문을 한 번 읽어봤습니다. 개념은 LightGCN의 layer가 1~4개씩 쌓는 것에서, layer가 쌓일수록 어느 값으로 유저와 아이템의 임베딩 벡터가 특정 값으로 수렴하기 때문에 많은 Layer의 계산이 필요없어서, 수렴한 상태의 layer하나만 필요하다는 개념에서 시작합니다. 하지만 해당 수식과 관련된 내용 자체가 Loss 값을 어떻게 형성하느냐에 좌우 되므로, 기존의 DKT의 Binary Classification 방식을 적용하기 힘들다고 생각합니다.

해당 내용은 #9 RecBole lightgcn 성능이 Baseline의 lightgcn 의 성능과 차이나는 이유를 이해하면 됩니다. RecBole의 경우, 풀었던 문제만 interaction으로 가정하고 해당 링크의 연결성을 가지고만 학습을 진행했습니다. 하지만, Baseline 의 경우에는 Negative sampling을 해주지 않고, 아이템과 유저 임베딩 벡터의 dot product의 값을 label (0, 1)과 BCE loss 값을 objective로 하여 학습하는 방법을 채택하여, 기존의 lightgcn의 학습 방법과는 다른 방법을 사용하는 것입니다. 이게 더 성능이 좋았습니다.

이것을 다시 말하자면, 해당 대회의 문제 상황에 더 올바른 방법으로 모델의 Loss 값을 구하기 위해서는 BCE Loss 값을 채택해야합니다. 하지만, UltraGCN의 경우, 애초에 개념 자체가 LightGCN의 Recommeder System 상황을 상정하고 이에 대한 극한값을 추정하여 그것을 Loss 계산에 적용하는 것입니다.

따라서 논문과 예시 코드에서 주어진 Loss 값 계산을 무시하게 되면 수많은 내용을 잃어버리게 되고 단순 GCN Classification model과 다름이 없어진다고 생각합니다.

그래서 위와 같은 이유에 따른 성능을 보장할 수 없을 것 같다는 리스크와 시간적인 요소 때문에 UltraGCN 모델 개발을 잠정 중단하도록 하겠습니다.

[ahyeon0508]

고생 많으셨습니다!