bab2min / kiwipiepy

Python API for Kiwi
Other
282 stars 27 forks source link

fix: KiwiTokenizer __repr__ issue #134

Closed Bing-su closed 1 year ago

Bing-su commented 1 year ago

fixes: #133

KiwiTokenizeris_fastvocab_size를 추가합니다.

import kiwipiepy.transformers_addon
from transformers import AutoTokenizer

repo = "kiwi-farm/roberta-base-32k"
tk = AutoTokenizer.from_pretrained(repo)
tk
KiwiTokenizer(name_or_path='kiwi-farm/roberta-base-32k', vocab_size=32000, model_max_length=512, is_fast=False, padding_side='right', truncation_side='right', special_tokens={'bos_token': '[BOS]', 'eos_token': '[EOS]', 'unk_token': '[UNK]', 'sep_token': '[SEP]', 'pad_token': '[PAD]', 'cls_token': '[CLS]', 'mask_token': '[MASK]'}, clean_up_tokenization_spaces=True)
bab2min commented 1 year ago

안녕하세요 @Bing-su 님 의미있는 기여에 감사드립니다. CI 테스트 돌려보겠습니다.

bab2min commented 1 year ago

non x64 아키텍처 오류는 workflow 문제로 보이네요. 나머지 부분에서는 잘 작동하는 것으로 보이므로 머지하도록 하겠습니다. 감사합니다~