Open wnghks7787 opened 7 months ago
Attention is All You Need 논문에서 Transformer 실습을 Colab에 올리셨는데, 해당 부분에 데이터 전처리 과정에서 tokenizer로 spacy를 사용하신 부분이 새 버전으로 업데이트 되면서 문제를 일으키고 있습니다.
<기존> import spacy
spacy_en = spacy.load('en') # 영어 토큰화(tokenization) spacy_de = spacy.load('de') # 독일어 토큰화(tokenization)
<변경 후> import spacy
spacy_en = spacy.load('en_core_web_sm') # 영어 토큰화(tokenization) spacy_de = spacy.load('de_core_news_sm') # 독일어 토큰화(tokenization)
확인 부탁드립니다. 감사합니다.
Attention is All You Need 논문에서 Transformer 실습을 Colab에 올리셨는데, 해당 부분에 데이터 전처리 과정에서 tokenizer로 spacy를 사용하신 부분이 새 버전으로 업데이트 되면서 문제를 일으키고 있습니다.
<기존> import spacy
spacy_en = spacy.load('en') # 영어 토큰화(tokenization) spacy_de = spacy.load('de') # 독일어 토큰화(tokenization)
<변경 후> import spacy
spacy_en = spacy.load('en_core_web_sm') # 영어 토큰화(tokenization) spacy_de = spacy.load('de_core_news_sm') # 독일어 토큰화(tokenization)
확인 부탁드립니다. 감사합니다.