ELMo

[ratsgo]

개요 ELMo 모델을 이 레파지토리에 둔다. 코드 상세는 다음과 같다.

• 모델 코드는 2019년 5월 18일 현재 아래 주소의 origin/master에서 클론한 것이다.
• https://github.com/allenai/bilm-tf
• 원 레포 bilm-tf/bilm 디렉토리에 있는 코드들을 우리 레포 embedding/models/bilm 디렉토리로 그대로 복사했다.
• 원 레포 bilm-tf/bin/train_elmo.py 코드는 우리 레포 embedding/models에 복사했다
• train_elmo.py의 모델 설정값은 small 모델로 맞추었다. 상세 파라메터는 다음과 같다.

{"bidirectional": true, "char_cnn": {"activation": "relu", "embedding": {"dim": 16}, "filters": [[1, 32], [2, 32], [3, 64], [4, 128], [5, 256], [6, 512], [7, 1024]], "max_characters_per_token": 30, "n_characters": 261, "n_highway": 2}, "dropout": 0.1, "lstm": {"cell_clip": 3, "dim": 1024, "n_layers": 2, "proj_clip": 3, "projection_dim": 128, "use_skip_connections": true}, "all_clip_norm_val": 10.0, "n_epochs": 10, "n_train_tokens": 768648884, "batch_size": 128, "n_tokens_vocab": 100003, "unroll_steps": 20, "n_negative_samples_batch": 8192}