Open jongrom2 opened 1 year ago
안녕하세요 @jongrom2님. 에러 제보 감사합니다.
# !pip install transformers==4.21.0 dooly
from dooly import Dooly
ner = Dooly(task="ner", lang="ko")
ner("아버지가 방에 들어가신다.")
WARNING:root:Oh! You have mecab in your environment. Kss will take this as a backend! :D
0%| | 0/1 [00:00<?, ?it/s]
---------------------------------------------------------------------------
IndexError Traceback (most recent call last)
[<ipython-input-4-7e9b32789705>](https://localhost:8080/#) in <module>
----> 1 ner("아버지가 방에 들어가신다.")
9 frames
[/usr/local/lib/python3.8/dist-packages/dooly/tokenizers/char.py](https://localhost:8080/#) in _tokenize(self, text)
21 else:
22 tokenized.append(x[i])
---> 23 tokenized[0] = f"▁{tokenized[0]}"
24 return tokenized
25
IndexError: list index out of range
kss
라는 라이브러리로 최신 버전은 4.5.1
입니다.import kss
kss.__version__
4.5.1
3.4.3
으로 실행했을 땐 오류없이 잘 동작하는 것을 확인했습니다.# 한국어 문장분리기 kss의 버전을 3.4.3으로 fix
# !pip install transformers==4.21.0 kss==3.4.3 dooly
from dooly import Dooly
ner = Dooly(task="ner", lang="ko")
ner("아버지가 방에 들어가신다.")
WARNING:root:Initializing Pynori...
100%|██████████| 1/1 [00:00<00:00, 2.62it/s]
[('아버지', 'CIVILIZATION'),
('가', 'O'),
(' ', 'O'),
('방에', 'O'),
(' ', 'O'),
('들어가신다.', 'O')]
# 자동으로 최신 버전 kss==4.5.1이 설치됨.
# !pip install pororo
from pororo import Pororo
ner = Pororo(task="ner", lang="ko")
ner("아버지가 방에 들어가신다")
[nltk_data] Downloading package punkt to /root/nltk_data...
[nltk_data] Unzipping tokenizers/punkt.zip.
WARNING:root:Oh! You have mecab in your environment. Kss will take this as a backend! :D
[('아버지', 'CIVILIZATION'),
('가', 'O'),
(' ', 'O'),
('방에', 'O'),
(' ', 'O'),
('들어가신다', 'O')]
dooly
와 pororo
의 차이를 만든 것이 아닌가 생각됩니다.dooly==1.3.0
은 다른 라이브러리들이 버전 업그레이드된 것과는 반대로 많이 뒤쳐진 상황입니다.3.4.3
으로 고정하고 사용해주시면 되겠습니다.오류 제보 다시금 감사드리고 에러 fix 후 issue comment 남기겠습니다. 감사합니다.
와 이렇게 빨리 피드백주시다니 감사합니다~~!! 피드백해주신대로 kss 버전 수정하니 잘되네요!😁
Dooly(task="ner", lang="ko")함수가 2단어 이상일 경우 에러 발생합니다.
이전 버전인 Pororo에서는 한글 개체명 인식이 잘됩니다;