Open AkihikoWatanabe opened 1 year ago
https://huggingface.co/blog/assisted-generation
1 line加えるとtransformerのgenerationが最大3倍程度高速化されるようになったらしい
assistant modelをロードしgenerateに引数として渡すだけ
https://huggingface.co/blog/assisted-generation