KSS 탑재 문의

[hyunwoongko]

기초정보

• Python 버전이 얼마입니까?
  • [ ] 3.5.x
  • [ ] 3.6.x
• KoalaNLP 버전이 얼마인가요?
  • [ ] 1.x
  • [ ] 2.x
• 문제의 유형은 어떤 것인가요?
  • [ ] 버그리포트
  • [X] 개선점제안
  • [ ] 사용법질문
  • [ ] 기타

본문

안녕하세요. 저는 한국어 문장분리 패키지인 KSS를 개발하고 있는 고현웅이라고 합니다. 이번에 박상길님으로부터 패키지를 이전받았고, 알고리즘을 많이 개선했는데요. KSS의 접근성 향상 및 koalanlp의 문장분리기능 성능 개선을 위해 해당 패키지의 문장문리 모듈과 단락청킹 기능을 이 패키지에 탑재할 수 있는지에 관해 문의드립니다.

• 프로젝트 레포지토리
• 기존 KoalaNLP에 탑재된 문장 분리 기능과 비교
• pure python으로만 작성되었고 추가 dependency는 없습니다.

[bgnkim]

안녕하세요. 우선 문장분리기 패키지 추가를 문의해주셔서 감사합니다. 문장분리기 구현 자체가 꽤 naive 했던 터라, 패키지를 제공해주신다니 감사할 따름입니다. 먼저, 파이썬 버전에는 KSS를 호출하도록 추가해볼 수 있을 것 같습니다.

다만, koalanlp가 Kotlin 패키지를 중심으로 전체적인 구조화가 되어 있어서, KSS를 Kotlin이나 JavaScript 등 다른 언어에 어떻게 적용할 수 있는지는 검토가 된 후에 추가를 해봐야 할 것 같습니다. 내부적으로 koalanlp는 Kotlin Jar 파일을 호출합니다. 문제는 제가 아마도 8월 말까지 6개월간 좀 바쁠 것 같아서, 빠르게 업데이트는 못 할 것 같다는 게 문제입니다...

방향을 검토하기 전에 하나 여쭤보고 싶은 것이 있습니다. KSS가 C++로 작성되어 있었는데, 순수 파이썬으로 바꾸신 거라면, 혹시 (조금 느리더라도) 제가 Kotlin으로 변환해서 고현웅님의 검토를 받고, 다른 언어 (Java/Scala/Kotlin/JavaScript)를 함께 지원하는 방향으로 구현해도 괜찮을까요? 고현웅님의 의견에 따라 방향을 결정하겠습니다.

• KSS를 파이썬으로만 관리하는 게 좋겠다고 판단하신다면, KSS를 파이썬 koalanlp 패키지에만 추가하고, 타 언어는 python library를 직접 설치/호출하는 방향을 찾아봐야 할 것 같습니다.
• KSS를 Kotlin으로 변환한다면, Python과 Kotlin을 모두 관리하셔야 해서 번거로우실 수 있을 것 같다는 생각이 듭니다.

답변 기다리겠습니다. 감사합니다.

[hyunwoongko]

안녕하세요. 답변 감사드립니다.

다른 언어로 구현하는 부분은 정말 좋은 아이디어라고 생각합니다. 제가 Scala나 Kotlin은 자신이 없긴 한데, Java 구현은 참여할 수 있을 것 같아요. 혼자서 구현하시는 것보다 kss-jvm을 같이 만들어봐도 좋을 것 같습니다.

[bgnkim]

고현웅님께서 같이 구현해주신다니 감사합니다.

말씀하신대로, KSS-jvm으로 별도 프로젝트로 만든 다음에, maven에 올려서 koalanlp에서 끌어다 쓰는게 더 좋겠네요. 언어는 Java가 편하시다면 Java로 해도 괜찮습니다. Kotlin에서 부르는 것은 문제가 없어서요. 그러면

1. python koalanlp는 python KSS를 직접 호출하도록 하고
2. KSS-jvm을 하나 별도로 구성하고
3. 타 언어의 koalanlp는 KSS-jvm을 불러와 API만 연동하는 것으로 하면 유지보수에는 큰 문제가 없을 것 같습니다.

혹시 제가 2월 말쯤에 시간이 잠깐 날 것 같은데, 그 때 repo를 하나 만들어서 함께 구현하시는 건 어떠신가요?

[hyunwoongko]

좋습니다. 연락 부탁드릴게요~

[bgnkim]

@hyunwoongko 2월 말에 연락드린다고 하고 늦어져서 죄송합니다. 우선 KoalaNLP에 KSS를 연동하였는데, 코드 테스트를 통과하면 배포할 계획이므로, 이 이슈는 닫고, hyunwoongko/kss#11 에서 추가 논의 드리겠습니다.