Closed kyakuno closed 4 months ago
transformersがtorchやtensorflowを読み込んでしまうため、ailia tokenizerに置き換え、transformersへの依存をなくす。 --disable_ailia_tokenizerオプションでtransformersを使用することもできる。
transformersがtorchやtensorflowを読み込んでしまうため、ailia tokenizerに置き換え、transformersへの依存をなくす。 --disable_ailia_tokenizerオプションでtransformersを使用することもできる。