-
## ๐ Bug
์ ์ฝ๋๋ฅผ ๋๋ ธ๋๋ฐ ์๋์ ๊ฐ์ด ์๋ฌ๊ฐ ๋น๋๋ค.
## Environment
MAC M1
kobert 0.2.3
boto3 1.15.18
gluonnlp 0.10.0
mxnet 1.7.0.postโฆ
-
## ๐ ์์ฝ
- (์ํ ์ ) Tokenizing ์ข
๋ฅ๋ฅผ ์กฐ์ฌํ๊ณ , ํ๊ตญ์ด ๋ฐ ํ์ฌ Task์ ์ ํฉํ ๋ฐฉ์ ํ์
- (์ํ ํ) **SentencePiece๋ huggingface SentencePiece tokenizer(+๋ฅผ ์ฌ์ฉํ ๋ชจ๋ธ) ์์ฃผ๋ก ํ์**
## ๐ ์์ธ
### Before
- ์ต๊ทผ์ ๊ฐ์ฅ ์์ฃผ ์ฌ์ฉ๋๋ Tokeโฆ
-
```go
// function that gets a single row of the gota dataframe as an input, process the sentence of column 'text' and return struct
func bertSentimentProcess(dataframe dataframe.DataFrame) sentimentโฆ
-
์๋
ํ์ธ์! ๋ ์ข์ ๋ชจ๋ธ์ ๊ณต์ ํด์ฃผ์๋ ์ ๋ง ๊ฐ์ฌํฉ๋๋ค.
๊ทธ๋์ KoBERT๋ฅผ ํ๊น
ํ์ด์ค("monologg/kobert")๋ฅผ ํตํด ๋ก๋๋ฅผ ํ๊ณค ํ์ต๋๋ค. ๊ทธ๋ฐ๋ฐ, ์ค๋ ๊ฐ์์ค๋ฝ๊ฒ kobert๊ฐ ๋ก๋ ๋์ง ์๊ณ 504 Gateway Timeout ๋ผ๋ ์๋ฌ๋ฉ์์ง๋ฅผ ์ถ๋ ฅํด ๊ธ์ ๋จ๊น๋๋ค.ํ๊น
ํ์ด์ค ํํ์ด์ง์ ์นํ์ด์ง๋ก ์ ์ํด๋ ๋์ผํ ์ค๋ฅ๊ฐ ๋ ๊ธ์ ๋จ๊ธฐ๊ฒโฆ
-
[์์ง]
1. KoBERT (~12/7)
- ํ๊ท ๊ฐ ํ์ฉํ๊ธฐ
2. Ontology (~12/8)
- ์ป์ ์ ์๋ ์ ๋ณด: 1) ํค์๋์ ์ค๋ช
, 2) ํค์๋์ ์์ ๋ถ๋ฅ
- ํ๊ณ: ๋์์ด์์ด๋ ๊ทธ๋ฅ ์ฌ์ฉ (์ผ๋จ์)
- ์ ์ฒ๋ฆฌ: ๊ฒ์ ๊ฒฐ๊ณผ๊ฐ ์์ผ๋ฉด KoSpacing ์ฒ๋ฆฌ -> ๋ค์ ๊ฒ์ํด์ ์ฌ์ฉ
- ํค์๋๊ฐ ์๊ฑฐ๋ ๊ฒ์์ดโฆ
-
์๋
ํ์ธ์, ์ฑ๊ท ๊ด๋ํ๊ต ์ต์์ฑ ํ์์
๋๋ค.
์ ์ตํ repo๋ฅผ ๊ณต์ ํด ์ฃผ์
์ ๊ฐ์ฌํฉ๋๋ค.
ํน์ KoBERT์ KoBERT-lm์ด ์ฌ์ ํ์ต์์ ์ฐจ์ด๊ฐ ์์๊น์?
์ต์ข
layer์ ๋ํ weight๊ฐ ์ถ๊ฐ๋ ๊ฒ ์ธ์, encoder ๋ด๋ถ weight๋ฅผ ์ฐ์ด๋ดค๋๋ฐ ์๋ก ๋ค๋ฅด๋๋ผ๊ตฌ์,
ํ์ฌ ํ๊ตญ์ด MRC์ ํ์ฉํ๊ณ ์๋๋ฐ ์ฑ๋ฅ๋ kobert-lm ๋ชจ๋ธ์ด โฆ
-
## ๐ Bug
windows10+ pycharm ํ๊ฒฝ์์ kobert ์ค์น๋ฅผ ์๋ํ๋๋ฐ ์๋ฌ๊ฐ ๋ฐ์ํฉ๋๋ค.
## To Reproduce
โฆ
-
## ๐ Bug
kobert๋ฅผ Colab์์ ๊ตฌํํ ๋, tokenizer ์ฌ์ฉ์, nbest_size ์ค๋ฅ ๋ฑ์ด ๋ฐ์ํฉ๋๋ค.
## To Reproduce
!pip install ipywidgets # for vscode
!pip install git+https://git@github.com/SKTBrain/KoBERT.git@master
โฆ
-
when type following command:
''phylophlan -i 3 -d phylophlan --diversity low -f /home/jxm/miniconda3/envs/tree/lib/python3.9/site-packages/phylophlan/phylophlan_configs/supermatrix_aa.cfg -o 2 ''
โฆ
-
docs์ ์ค๋ช
๋๋ก transformers, sentence-transformers, tokenizers๋ฅผ ๋์ผํ ๊ฒฝ๋ก "opt/conda/lib/python3.7/site-packages/ "๋ก
์ด๋ํ ํ ์คํํ์ผ๋ ์๋ ์ค๋ฅ๊ฐ ์ถ๋ ฅ๋ฉ๋๋ค.
์์ธ ์ ์ ์์๊น์??
ํ์ฌ ์ฌ์ฉ์ค์ธ library๋ค์ ๋ฒ์ ์ ์๋์ ๊ฐ์ต๋๋ค.
alabasteโฆ