pjh feature & user-question mask model - simple version

[PJHgh]

• embedding
  • tag embedding layer
  • class embedding layer
  • question embedding layer
  • continuous dense layer
• feature ⇒ sequence 정보는 없고 target question을 풀 때, user의 knowledge 상태 정보만 있음
  • target의 tag
  • target의 class
  • target의 question
  • user의 target tag 문제 푼 수
  • user의 target tag 문제 정확도
  • user의 target class 문제 푼 수
  • user의 target class 문제 정확도

• model

  • user knowledge state

    • 주어진 문제를 풀 때 user가 가지고 있는 해당 문제와 관련된 지식 정보

      1. tag, class embedding layer -> tag, class의 정보 (size = [emb size])
      2. user의 tag, class total solving num / tag, class solving_rate

      → batch normalization (size = 2)

      → dense layer (size = [emb size])

      → layer normalization ⇒ emb size 축으로 normalization

      → tanh ⇒ user가 가진 tag, class의 지식 수준

    3. tag, class 정보 * tag, class의 지식 수준 (size = [emb size]) ⇒ user가 가진 해당 tag, class의 정보
    4. user가 가진 해당 tag의 정보와 class의 정보를 concatenate (size = [2*emb size])

  • question knowledge mask

    • 주어진 문제를 풀기 위해 필요한 tag, class의 정보 비율 (size = [2*emb size])

      1. question embedding layer (size = [2*emb size])

      → sigmoid ⇒ mask 생성

  • final layer

    1. user knowledge state question knowledge mask (size = [2emb size])

       → dense layer (size = [1])

       → sigmoid (size = [1]) ⇒ prediction

[PJHgh]

• hyper parameter
  • learning rate : 1e-3
  • batch size : 4096
  • data augmentation : 각 sequence를 전부 data로 사용
  • scheduler : CosineAnnealingLR
• description : [pjh-simple-lr1e-3-B4096-L1] | acc : 0.6962 | auroc : 0.7826