데모페이지에 사용된 메소드는 무엇인가요?

mattt0204 commented 3 years ago

데모페이지처럼 기사를 넣으면 요약된 줄거리가 나오는 메소드는 무엇을 써야하나요?

현재 가상환경 설정 및 install은 되어 있는 상태입니다.

`from transformers import BartModel from kobart import get_pytorch_kobart_model, get_kobart_tokenizer if name == 'main' : kobart_tokenizer = get_kobart_tokenizer() kobart_tokenizer.tokenize("안녕하세요. 한국어 BART 입니다.🤣:)l^o")

model = BartModel.from_pretrained(get_pytorch_kobart_model())
inputs = kobart_tokenizer(['여권에서 서울시장 보선 출마를 공식화한 것은 우 의원이 처음이다. 차기 총선에 불출마하고 모든 것을 걸겠다며 배수진을 쳤다.우 의원은 13일 국회 소통관에서 출마 기자회견을 하고 "이번 선거는 대단히 중요한 선거"라며 "문재인 대통령이 성공한 대통령으로 평가받느냐, 야당의 흠집내기, 발목잡기로 혼란스러운 국정 후반기를 보내야 하느냐를 결정하는 선거"라고 말했다.\
                           '], return_tensors='pt')
model(inputs['input_ids'])

`

haven-jeon commented 3 years ago

KoBART는 여러 task에 쓰일 수 있는 언어모델입니다. 그리고 데모에 있는 요약은 그러한 테스크 중에 하나이고, 요약 테스크 결과를 보여주고 있습니다. 테스크 결과를 보기 위해서는 서브 테스크 파인튜닝 과정이 필요합니다. 안타깝게도 파인튜닝 부분은 이 git에서 포함되어 있지 않습니다. 따라서 쓰인 함수를 알려드린다 하더라도 생성이 되지 않을겁니다. 요약 관련 테스크 파인튜닝 코드는 이곳에서 제공하지 않고, 커뮤니티 분들의 기여를 받을 예정입니다. 이 방식이 더 유연하고 좀더 많은 정보를 제공할 수 있기 때문이니 이해 부탁드립니다. 하지만 만일 12.20일 전까지 커뮤니티 기여가 없을 경우 제가 개인적으로 다른 git을 만들어 이곳에 링크를 하도록 하겠습니다.

감사합니다.

mattt0204 commented 3 years ago

감사합니다,여러가지 업무를 수행할 수 있는데, 그런 서브 테스크를 하려면 파인 튜닝을 따로 진행을 해야하는 것은 이해했습니다. 음,커뮤니티 분들의 기여를 받는다는 의미가 오픈소스화 해서 기여 받는 것을 말씀하신건가요!?

haven-jeon commented 3 years ago

티 분들의 기여를 받는다는 의미가 오픈소스화 해서 기여 받는

https://github.com/SKT-AI/KoGPT2#examples 방식인거죠.

haven-jeon commented 3 years ago

별도 응답이 없어 close 하겠습니다.

haven-jeon commented 3 years ago

@TooKTAlk2 마침 KoBART를 이용한 요약 스크립트가 공개되었네요. https://github.com/seujung/KoBART-summarization 참고하세요.

SKT-AI / KoBART

데모페이지에 사용된 메소드는 무엇인가요? #1