入力トークンのnpyファイルかhtmlのテーブルへ変換する

[shimejii]

入力

1. npyファイル 入力トークンの配列 shape (batch, seq_len) 配列はsentencepieceのトークンidを保持
2. デコードの単位指定 tokenごと or batchごと
3. sentencePieceのモデルファイルへのパス

機能

1. tokenごとにデコード
2. batchごとにまとめてデコード

出力

1. token単位でデコードされた配列のhtmlのtable出力
   • shape (batch, seq_len, 1) <-- original
   • shape (batch * num_head, seq_len, 1) <-- head数分複製
2. batch単位でデコードされた配列のhtmlのtalbe出力
   • shape (batch, 1)
   • shape (batch * num_head, 1)
3. トークンidのまま、htmlのtable出力
   • shape (batch, seq_len, 1)
   • shape (batch * num_head, 1)

[shimejii]

実行コマンド

1. token単位でデコードされた配列のhtmlのtable出力
   • shape (batch, seq_len, 1) <-- original

python main.py npy2tablehtml WORKDIR EXPERIMENT_MODE DATABASE_NAME STEP MEMORY_INDEX DEVICE_INDEX TABLE_LABEL --isInputToken --decodeUnit token --spFilePath "file/path/to/sentence/piece/model"

• shape (batch * num_head, seq_len, 1) <-- head数分複製 python main.py npy2tablehtml WORKDIR EXPERIMENT_MODE DATABASE_NAME STEP MEMORY_INDEX DEVICE_INDEX TABLE_LABEL --isInputToken --decodeUnit token --spFilePath "file/path/to/sentence/piece/model" --duplicate 8

2. batch単位でデコードされた配列のhtmlのtalbe出力
   • shape (batch, 1) python main.py npy2tablehtml WORKDIR EXPERIMENT_MODE DATABASE_NAME STEP MEMORY_INDEX DEVICE_INDEX TABLE_LABEL --isInputToken --decodeUnit batch --spFilePath "file/path/to/sentence/piece/model"

• shape (batch * num_head, 1) python main.py npy2tablehtml WORKDIR EXPERIMENT_MODE DATABASE_NAME STEP MEMORY_INDEX DEVICE_INDEX TABLE_LABEL --isInputToken --decodeUnit batch --spFilePath "file/path/to/sentence/piece/model" --duplicate 8

3. トークンidのまま、htmlのtable出力
   • shape (batch, seq_len, 1) python main.py npy2tablehtml WORKDIR EXPERIMENT_MODE DATABASE_NAME STEP MEMORY_INDEX DEVICE_INDEX TABLE_LABEL --isInputToken --noDecode

• shape (batch * num_head, seq_len, 1) python main.py npy2tablehtml WORKDIR EXPERIMENT_MODE DATABASE_NAME STEP MEMORY_INDEX DEVICE_INDEX TABLE_LABEL --isInputToken --noDecode --duplicate 8

[shimejii]

追加するオプショナル引数

• isInputToken bool npyファイルに保存されているデータがtokenであるか

• decodeUnit str tokenのデコードを行う単位を指定 batch or token

• duplicate int batchを何倍に複製するか 通常transformerはヘッドの数だけ線型変換を行う

• noDecode bool Trueの時、デコードせず、htmlのtableとして出力する

--spFilePath str sentencepeiceのモデルファイルへのパス