search

wisdomify / storyteller-deprecated

Forward dictionary of Korean Proverbs
2 stars 0 forks source link

수집한 속담 정의 정리 #14

Closed ArtemisDicoTiar closed 3 years ago

ArtemisDicoTiar commented 3 years ago

Symbols

"O": Done, "X": Planning not to be done ">": Pending (Still on progress)

정의 수집여부
wikiquote O
namuwiki O
opendict O
정의 용례 수집여부
wikiquote naverDict O
wikiquote daumDict O
wikiquote KoreaUnivCorpus O
namuwiki naverDict >
namuwiki daumDict >
namuwiki KoreaUnivCorpus O
opendict naverDict >
opendict daumDict >
opendict KoreaUnivCorpus >
ArtemisDicoTiar commented 3 years ago

DB에 저장하려고 했는데 케글에 저장해야겠다.

ArtemisDicoTiar commented 3 years ago

케글에 저장하려고 했는 데 DB에 해야겠다 ㅋㅋㅋ storyteller도 웹으로 서비스한다고 생각했을떄 Django-Rest로 편하게 구축하려면 DB가 나을 거 같다.

ArtemisDicoTiar commented 3 years ago

Definition Schema

-- ~idx~ date origin wisdom definition
type ~BigInt~ Date Text Text Text
meaning ~속담-정의 인덱스~ 수집된 날짜 수집된 사이트 속담 정의

Example Schema

-- date origin eg_id ~def_idx~ wisdom example example_morph prev next full
type Date Text BigInt ~BigInt~ Text Text Text Text Text Text
meaning 수집된 날짜 수집된 사이트 고려대 코퍼스에서 사용한 인덱스 번호 ~속담-정의 인덱스 번호~ 속담 용례 용례의 형태소 분석 이전 문장 다음 문장 전체 텍스트
ArtemisDicoTiar commented 3 years ago

인덱스를 설정 안해도 될거 같다. origin이 잡혀있어서 같은 속담이라도 오리진이 다르면 다른 row로 처리될것.

ArtemisDicoTiar commented 3 years ago

일단! 지금 데이터베이스 핸들러로 만들어 놓은게 오라클 클라우드 디비에 맞춰져 있으니 이것부터 수정해야겠다.

ArtemisDicoTiar commented 3 years ago

이제 DB 컨트롤러에 데이터프레임 저장시 해당 row 존재 여부 확인 작업을 해야한다.

ArtemisDicoTiar commented 3 years ago

기존에 수집했던 definition저장 완료. definition은 더이상 수집 할 필요없음.

ArtemisDicoTiar commented 3 years ago

용례 수집시 속담 정의 수집한 origin을 같이 적어야겠다

ArtemisDicoTiar commented 3 years ago

용례 수집 완료 (wikiquote)

ArtemisDicoTiar commented 3 years ago

고려대 1개 속담 용례 수집할때 리스트 사이즈 50고정. 페이지를 변경하면서 가야겠다.

ArtemisDicoTiar commented 3 years ago

고려대 - wikiquote 약 1만여 용례 수집 완료.