[실험] c_vector 초기화 시 std 줄이기

[khodid]

<실험 동기>

레퍼런스 코드에서는 embedding(현행 프로젝트에서의 category vector) initializing을 할 때 std를 0.01로 잡는 것을 확인하였다. 카테고리 벡터 간의 거리가 짧다면 각 특성 간의 차이가 크지 않아 더 잘 섞일 것 같기도 하여 시도해보았다.

std를 늘리는 실험(std=1.5)은 영채(@lunaB )님이 시도하였으나 큰 성과는 없었음.

<실험 결과>

레퍼런스를 그대로 따라한 std = 0.01, 0.1 에서는 모델의 카테고리 간의 차이를 크게 못 느꼈음. 학습 중간에 중단하여 이미지 자료는 남겨놓지 않았다.

아무래도 std=1을 기준으로 그간 최적화를 해왔던 것의 영향이 있는 것 같아 1에서 조금 줄여보는 방향으로 바꾸었음.

• 실험 조건:
  • c_vector std = 0.7, epoch = 100, batch_size = 16, L1_W = 100, MSE_W = 15 (std 제외하고 레퍼런스 코드와 동일)
  • 폰트 수: 소스 1개, 카테고리 3개

학습 자체는 이전 세팅보다 훨씬 부정확하다.

또, 간격이 좁기 때문인지 폰트와 폰트 사이의 인터폴레이션 과정 중 다른 폰트의 스타일로 보이는 것이 나타나기도 한다.

하지만 예전에 있던 흐려지듯이 이동하는 현상은 어느정도 완화된 것 같다.

[Kim-Yunji]

std = 0.85로 해본 경우,

일부 문자, 스타일에서 굉장히 자연스러운 변화가 일어났다. 근데 여러 경우 해서 봐보다 보니 우연인 것 같기도 하고..

'''

학습 성능 개선도 필요