2쇄 기준 설명 (81p문의)

[keemyo]

from gensim.corpora import WikiCorpus from gensim.utils import to_unicode

in_f = "/notebooks/embedding/data/raw/kowiki-latest-pages-articles.xml.bz2" out_f = "/notebooks/embedding/data/processed/processed_wiki_ko.txt" output = open(out_f, 'w')

이렇게 한 뒤

wiki = WikiCorpus(in_f, tokenizr_func = tokenize)를 하게 되면 tokenize가 정의되지 않았다라고 뜨는데

Q1.

• 2쇄 기준 85p에 있는 def tokenize로 먼저 처리해주어야 하나요?

Q2.

• 정오표에 보니 dictionary=Dictionary()라고 했을때 Dictionary 또한 정의되어 있지 않은데 어디서 갖고와야하나요??....

ㅠㅠㅠㅠㅠ

[ratsgo]

@keemyo 님 다음 이슈에 논의된 내용이 도움이 되실 것 같습니다!

https://github.com/ratsgo/embedding/issues/62