search

Sosuke115 / japanese-llm-evaluation

Apache License 2.0
0 stars 0 forks source link

tokenizer_nameを指定できるようにしたい #2

Closed Sosuke115 closed 11 months ago

Sosuke115 commented 11 months ago

https://github.com/Sosuke115/qlora_ja/pull/2/files

Sosuke115 commented 11 months ago

BaseModelAdapterを継承する形で、特殊ケース（tokenizerのpathがmodel pathと別の場合やfast tokenizerへの対応など）に対応してるぽい https://github.com/Sosuke115/japanese-llm-evaluation/blob/69a0509e1221427b6b643d8b7ec8eb7a739b5a5b/jrank/adapters.py#L23-L38