hunminjeongeum-korean-competition-2021 / dialogue-summarization

대화요약 인공지능 경진대회

1 stars 2 forks source link

[NSML] 안녕하세요 Tokenizer사용에 대해 문의 드립니다. #9

Closed hyeinhyun closed 2 years ago

hyeinhyun commented 2 years ago

주제

Tokenizer사용에 대해 문의 드립니다.

상황 (자세히 작성해주시면 좋습니다.)

안녕하세요, 여우면팀입니다. 저희 대회가 pretrained model이 사용이 안되는 것으로 알고있습니다. 미리 학습되어 패키지화 된 tokenizer(메캅 등)도 사용을 못하는 건가요?

혹시, 사용이 가능하다면 현재는 메캅을 사용하기위한 mecab-ko-dic 파일을 외부에서 올리지 못하게 되어있는 것으로 알고있습니다. 이에 관한 해결법 또한 알려주시길 바랍니다.

감사합니다.

내용 (첨부 가능한 이미지 추가해주시면 더 좋습니다.)

기타 문의 사항

bluebrush commented 2 years ago

@dacon-murdoch 님, 답변 가능하실까요?

dacon-murdoch commented 2 years ago

안녕하세요. tokenizer로 mecab을 사용하는 것은 괜찮습니다. 사용에 대한 해결법은 확인 후 답변드리겠습니다. 감사합니다.

nammyoungjin commented 2 years ago

다른 pretrained model 의 토크나이저 사용은 불가능한가요?

hyeinhyun commented 2 years ago

@dacon-murdoch 안녕하세요, 메캅 토크나이저 사용방법 최대한 빠르게 답변 부탁드리겠습니다 :) 감사합니다.

vetaerang commented 2 years ago

@hyeinhyun 안녕하세요. Custom Docker 사용 가능합니다. konlpy 공식문서 참고하셔서 도커 이미지 빌딩 후, setup.py 상단에 #nsml: custom_docker_repo_name 형식으로 써주시면 해당 도커 이미지 환경으로 실행됩니다. nsml run 실행시 setup.py는 main.py와 같은 경로에 있어야 합니다. 감사합니다.