[말뭉치 통계]

[lovit]

뉴스 말뭉치

• 뉴스 문서 개수: 3,534,355
• paragraph 개수: 37,273,257
• 문장 개수: 추정 불가 (문장 단위로 구분되어 있지 않음)
• 어절 개수: 1,090,481,986+
• 글자 개수 (기호 포함): 3,735,508,892

(code)

from tqdm import tqdm

n_chars, n_eojeols = 0, 0

with open('paragraph.txt') as f: 
    for line in tqdm(f, desc='scan', total=40807613): 
        n_chars += len(line.replace(' ', '').strip()) 
        n_eojeols += len(line.strip().split()) 

(문제점 1) 문장이 구분되어 있지 않으며, 한 문단 내 두 문장이 구두점을 포함하여 띄어쓰기 구분이 없음.

• 위의 통계에서 어절 개수가 + 인 이유

          "paragraph": [
              {
                  "id": "NLRW1900000010.1.1",
                  "form": "유치·준비 눈물과 기쁨 20년간 전달…감동과 투혼의 현장, 선수들의 땀·숨소리까지 담는다"
              },
              {
                  "id": "NLRW1900000010.1.2",
                  "form": "2018평창동계올림픽 및 패럴림픽의 전 과정을 함께 해 온 강원도민일보는 올림픽 개막을 앞두고 만반의 준비를 갖추고 있다.1999년 동계아시안게임이 끝난 후 동계올림픽 유치가 처음 언급된 순간부터 2차례에 걸친 유치실패,삼수끝에 터져나온 2011년 남아공 더반의 환호,시설완공 등 평창올림픽의 역사를 역대 최고 대회로 만들기 위해노력중이다.세계의 젊은 세대들이 잠재력이 큰 아시아,강원도에서 동계스포츠의 새로운 지평을 열고 대한민국에 지속가능한 유산을 남기자는 평창의 비전과 발맞춘 보도를 계획하고 있다.지구촌 최대 축제,2018평창올림픽 및 패럴림픽을 가장 깊이있게 밀도있게 즐길 수있도록 강원도민일보와 함께 즐겨보자."
              },

[lovit]

형태 분석 말뭉치

tagset 과 tag count	Tag	Count (percentage)
NNG	1562168 (24.06%)
VV	403501 (6.214%)
EC	386549 (5.953%)
ETM	298970 (4.604%)
EF	258542 (3.982%)
JKB	256604 (3.952%)
JX	251864 (3.879%)
NNB	244696 (3.769%)
SF	228243 (3.515%)
NNP	224329 (3.455%)
SS	209491 (3.226%)
JKO	207376 (3.194%)
MAG	182313 (2.808%)
XSV	178325 (2.746%)
JKS	167515 (2.58%)
EP	157874 (2.431%)
VA	146731 (2.26%)
SN	140913 (2.17%)
XSN	107643 (1.658%)
IC	100695 (1.551%)
VX	100233 (1.544%)
VCP	95837 (1.476%)
JKG	86943 (1.339%)
NP	76386 (1.176%)
SP	68049 (1.048%)
MMD	53649 (0.8263%)
JC	32886 (0.5065%)
NR	32627 (0.5025%)
MAJ	31093 (0.4789%)
XSA	24422 (0.3761%)
ETN	23355 (0.3597%)
JKQ	20562 (0.3167%)
SL	20508 (0.3158%)
MMN	20204 (0.3112%)
SW	18773 (0.2891%)
XPN	16159 (0.2489%)
JKC	11436 (0.1761%)
VCN	10049 (0.1548%)
NA	8141 (0.1254%)
SH	7722 (0.1189%)
SO	7529 (0.116%)
MMA	5437 (0.08374%)
SE	4806 (0.07402%)
XR	560 (0.008625%)
NAP	555 (0.008548%)
NF	517 (0.007962%)
JKV	181 (0.002788%)
NV	89 (0.001371%)