[데이터] 0과 1로 문자를 표현하는 방법

[1two13]

문자 집합

• 컴퓨터가 인식하고 표현할 수 있는 문자 모음

  문자 인코딩

• 문자를 0과 1로 변환하는 과정
• 문자 코드: 인코딩 후 0과 1로 이루어진 결과값

  문자 디코딩

• 0과 1로 이루어진 문자 코드를 사람이 이해할 수 있는 문자로 변환하는 과정

[1two13]

문자 집합 종류

아스키

• 영어 알파벳, 아라비아 숫자, 일부 특수 문자를 포함한다.
• 아스키 문자는 7비트로 표현된다. (총 128개)
  • 실제로는 하나의 아스키 문자를 나타내기 위해 8비트(1바이트)를 사용하지만, 8비트 중 1비트는 패리티 비트라고 불리는 오류 검출을 위해 사용되는 비트이기 때문에 실질적으로 문자 표현을 위해 사용되는 비트는 7비트다.
• 아스키 코드: 아스키 문자에 대응된 고유한 수
  • 장점: 매우 간단하게 인코딩된다.
  • 단점: 한글, 아스키 문자 집합 외의 문자, 특수문자를 표현할 수 없다. 훗날 아스키 코드에 1비트를 추가한 8비트의 확장 아스키가 등장하기도 했지만, 여전히 표현 가능한 문자의 수는 부족했다. 그래서 한국을 포함한 영어권 외의 나라들은 자신들의 언어를 0과 1로 표현할 수 있는 고유한 문자 집합과 인코딩 방식이 필요하다고 생각했다.
• 코드 포인트: 글자에 보여된 고유한 값

유니코드

• EUC-KR보다 훨씬 다양한 한글을 포함하고, 대부분 나라의 문자, 특수문자, 화살표, 이모티콘까지도 코드로 표현할 수 있는 통일된 문자 집합이다.
• 현대 문자를 표현할 때 가장 많이 사용되는 표준 문자 집합이다.
• 글자에 부여된 값 자체를 인코딩된 값으로 사용하지 않고, 이 값을 다양한 방법으로 인코딩한다.
  • 인코딩 방식에는 UTF-8, UTF-16, UTF-32 등이 있다.

[1two13]

인코딩 방식

한글 인코딩 2️⃣

1. 완성형 인코딩
   • 초성, 중성, 종성의 조합으로 이루어진 완성된 하나의 글자에 고유한 코드를 부여하는 인코딩 방식
2. 조합형 인코딩
   • 초성, 중성, 종성에 해당하는 코드를 합하여 하나의 글자 코드를 만드는 인코딩 방식

EUC-KR

• 대표적인 완성형 인코딩 방식이다.
• 초성, 중성, 종성이 모두 결합된 한글 단어에 2바이트 크기의 코드를 부여한다.
• 하지만 이 방법도 모든 한글을 표현할 수 없다. 여전히 문자 집합에 정의되지 않은 글자는 표현할 수 없기 때문이다.
• 이러한 문제를 해결하기 위해 등장한 것이 마이크로소프트의 CP949이다. 하지만 이 마저도 모든 글자를 표현하기에 넉넉한 양은 아니다.

UTF-8

• 1바이트부터 4바이트까지의 인코딩 결과를 만들어낸다. 즉, 인코딩한 결과는 1바이트가 될 수도, 2바이트, 3바이트, 4바이트가 될 수도 있다.
• 인코딩한 결과가 몇 바이트가 될지는 유니코드 문자에 부여된 값의 범위에 따라 결정된다.
• p. 73 ~ 74 참고