Issue Brief

범위

데이터 파이프라인 핵심 가이드: 4장 4장: 부호화와 발전

발표자

김현우

Summary

4장. 부호화와 발전

부호화(Encoding) : 컴퓨터를 이용해 데이터를 생성할 때 데이터의 양을 줄이기 위해 데이터를 컴퓨터가 읽을 수 있는 형태로 코드화하고 압축하는 것이다. 정보의 형태나 형식을 표준화, 보안, 처리 속도 향상, 저장 공간 절약 등을 위해서 다른 형태나 형식으로 변환하는 것이다. Marsharing / UnMarsharing : 부호화/비부호화

읽기 전 생각해보기

왜 이 단원이 나왔을까?
부호화의 예시?
- https://techdozo.dev/grpc-for-microservices-communication/

데이터 부호화 과정

하위 호환성 : 새로운 코드는 예전 코드가 데이터를 읽을 수 있어야 한다.
상위 호환성 : 예전 코드는 새로운 코드가 기록한 데이터를 읽을 수 있어야 한다.

데이터 부호화 형식

많은 프로그래밍 언어에서 읽고 쓸 수 있는 표준화된 부호화로써 JSON, XML이 있었지만, 무시하지 못할 정도의 데이터를 전송해야할 필요성을 느끼자 이진 부호화의 개발로 이어짐.
이진 부호화의 장점
- 전송할 데이터의 양이 작아짐
- 전송할 데이터의 양이 적어지며, 전송 속도가 빠름

{
    "userName": "Martin",
    "favouriteNumber": 1337,
    "interests": ["daydreaming", "hacking"]
}

이진 부호화의 방법들(스리프트와 프로토콜 버퍼, Avro ...)

메시지팩으로 JSON을 부호화할 경우, 위에 보는 바와 같이 필드 이름을 포함 , 고정 숫자 길이 정수 사용을 하고 있기 때문에, 별로 압축이 되지 않는다. 그래서 오히려 부호화, 복호화 시의 오버헤드가 이진 부호화의 이점보다 더 클 수도 있다.
Avro의 경우, 데이터 타입을 식별하기 위한 정보가 없고, 필드의 순서로 데이터 타입을 파악하므로, 부호화 길이가 매우 짧다.
```
message Person {
required string username        = 1;
optional int64  favorite_number = 2;
repeated string interests       = 3;
}
```

예시 : https://bcho.tistory.com/1182

쓰기 스키마와 읽기 스키마

상/하위 호환성 참고 자료

데이터 필드 추가 시 이진 부호화의 방법에 따라 주의해야할 점이 있다.
- 스리프트나 프로토콜 버프는 필드 태그 매핑을 통해서 필드 종류를 인식하므로, 수동 갱신이 필요하다.
이진 부호화에 대한 스키마 작성의 장점
- 이진 JSON 변형보다 크기가 훨씬 작아서, 공간/속도 면에서 효율적일 수 있다.
- 스키마가 최신 상태인지를 확인할 수 있다.
- 상위 호환성과 하위 호환성을 확인할 수 있다.
- 컴파일 시점에 타입 체크 가능

data-tech-newbie / designing-data-intensive-applications

2022년 05월 04일 스터디 #4