入力トークンidから文字列へ変換する機能の追加

[shimejii]

関数名

• decode_tokens(file_path_to_sp_mode: str, tokens: Array, unit_convert: str)

入力

• sentenceモデルファイルへのpath
• 入力トークン shape (batch_size, sequence_length), ndarray
• 変換する単位 token or batch

機能

1. 1tokenごとにデコード
2. batchごとにまとめてデコード

出力

1. 1tokenごとにデコード後のpythonリスト, shape (batch_size, sequence_length, 1)
2. batchごとにデコード後のpythonリスト, shape (batch_size, )