게시물 관련 API 구현

[Daeho-Son]

• [ ] 게시물 업로드
• [ ] 게시물 조회
• [ ] 모든 게시물 조회
• [ ] 게시물 삭제

[Daeho-Son]

참고자료

• [위키백과] HTTP Live Streaming
• [Cloudflare] 학습센터 - 비디오 스트리밍에 대해 알아보기
• 스트리밍 서버를 구현하기 위한 프로토콜 선택
• HTTP 라이브 스트리밍의 기본 사항
• [Naver D2] HTTP Live Streaming
• [AWS] Amazon CloudFront 미디어 스트리밍 자습서
• [Apple Documentation Archive] HTTP Live Streaming
• 스트리밍 서비스(온 디맨드, 라이브)에 대한 이해
• 스트리밍 서비스와 스트리밍 프로토콜 종류
• HLS 와 ABR 을 통해 알아보는 라이브 스트리밍 원리
• Introduction to HLS
• 콘텐츠의 소유와 멀어지다, 스트리밍(Streaming) 기술 발전에 따른 삶의 변화

[Daeho-Son]

HTTP 라이브 스트리밍(HLS, HTTP Live Streaming)이란?

• 애플이 개발하여 2009년 출시한 HTTP 기반 적응 비트레이트 스트리밍 통신 프로토콜
• 전반적인 스트림을 크기가 작은 일련의 HTTP 기반 파일 다운로드로 분리시켜 개개의 다운로드를 잠재적으로 무한한 전송 스트림의 작은 덩어리를 적재시킴으로써 동작

m3u8과 ts

m3u8

• 영상 재생을 위한 메타정보이다. UTF-8 형식의 텍스트 파일이며, 각각의 비디오 청크 파일에 대한 URL이나 경로가 나열되어 있습니다.
• 플레이리스트 파일로, 어떤 청크를 재생할지에 대한 정보를 담고 있다. 이는 일반적으로 .m3u8 확장자로 저장된다.
• 클라이언트는 .m3u8 파일을 다운로드하고, 그 안에 있는 청크 목록을 바탕으로 순차적으로 비디오 청크 파일들을 요청하여 재생한다.
• Master Playlist와 Media Playlist가 있다.

Master Playlist

• 명시된 속성 별 미디어 플레이리스트의 주소
• 각 미디어 플레이리스트는 서로 다른 비트레이트, 해상도, 코덱 등의 정보를 가진다.
• 예시

  #EXTM3U
  #EXT-X-VERSION:3
  #EXT-X-STREAM- 
  INF:BANDWIDTH=2877152,CODECS="avc1.640029,mp4a.40.2",RESOLUTION=1280x720
  chunklist.m3u8

  • #EXTM3U : 플레이리스트 파일의 시작을 알리는 태그. m3u8 포맷임을 명시
  • #EXT-X-VERSION:3 : HLS 프로토콜의 버전
  • #EXT-X-STREAM-INF : 스트림의 정보(비트레이트, 코덱, 해상도)
  • BANDWITH : 스트림의 비트레이트
  • CODECS : 사용된 비디오와 오디오 코덱
  • RESOLUTION : 스트림의 해상도
  • chunklist.m3u8 : 스트림에 대한 미디어 플레이리스트 파일

Media Playlist

• 플레이리스트의 타입, 잘려진 미디어 파일의 단위, 각각의 미디어 조각에 대한 url 이 담겨있다.
• 비디오 세그먼트 파일 목록과 각 세그먼트의 지속 시간 등의 정보가 포함된다.
• 예시

  #EXTM3U
  #EXT-X-VERSION:3
  #EXT-X-TARGETDURATION:10
  #EXT-X-MEDIA-SEQUENCE:0
  #EXTINF:10.0,
  segment0.ts
  #EXTINF:10.0,
  segment1.ts
  #EXTINF:10.0,
  segment2.ts
  #EXT-X-ENDLIST

  m3u8 포맷의 지시어(원본 출처)

  

비디오 세트먼트(Video Segments)

• 미디어 플레이리스트에 명시된 각 세그먼트 파일(.ts 파일)
• 세그먼트는 보통 짧은 길이(예: 10초)로, 실시간 스트리밍에서 지연을 최소화한다.

Apple 의 HLS 구성(원본 출처)

[Daeho-Son]

스트리밍 방식

동영상 라이브 스트리밍(Live Streaming)

설명

• 텔레비전이 생방송처럼 촬영한 정보를 실시간으로 사용자의 동영상 플레이어로 보내 재생하도록 하는 방식
• 사용자가 라이브 스트리밍을 시작하면, 서버에서 실시간으로 데이터를 받아 사용자에게 즉시 전송하며, 시청자는 방송이 송출되는 순간의 내용을 실시간으로 볼 수 있다.
• 비디오와 오디오를 실시간으로 인코딩해 많은 사용자에게 동시에 보낼 수 있어야 한다.

  동작 방식

  1. RTMP(Real-Time Messaging Protocol) 을 통해 서버로 실시간 영상을 전송한다.
  2. 서버에서 실시간으로 트랜스코딩하고, 그 영상을 HLS 나 MPEG-DASH 로 변환하여 시청자에게 전송한다.

온 디맨드 스트리밍(On-Demand Streaming)

설명

• 촬영과 편집을 거쳐 동영상 파일을 제작한 다음 사용자의 요구가 있을 때 동영상을 재생하는 방식
• 동영상 콘텐츠는 서버에 미리 저장되어 있으며, 사용자가 요청하는 즉시 서버에서 동영상을 전송하여 스트리밍

  동작 방식

  1. 사용자가 업로드한 동영상 콘텐츠를 서버에 업로드한다.
  2. 서버는 업로드된 동영상 컨텐츠를 다양한 해상도와 비트레이트로 트랜스코딩한다.
  3. 트랜스코딩 을 통해 여러 해상도의 HLS 나 MPEG-DASH 파일을 생성하고, 이를 스트리밍할 수 있도록 준비한다.
  4. 스트리밍 요청 발생 시, 준비된 데이터를 전달한다.
• HLS 또는 MPEG-DASH와 같은 스트리밍 프로토콜을 사용하며, 서버에 저장된 콘텐츠를 HTTP를 통해 클라이언트에 전송하여 실시간으로 재생한다.

[Daeho-Son]

구현 방법 선택

Spring Boot + FFmpeg wrapper

• FFmpeg 에 대한 공부가 필요함
• 지금으로써 가장 도입하기 쉬운 방법일듯
• 가장 저렴함(아마도? EC2 크기를 키우거나 서버 분리를 해야할 가능성이 높기때문에 정확하지 않음)

AWS Elemental MediaConvert

• AWS Elemental MediaConvert 에 대한 공부가 필요함
• 도입 비용이 많이 들거라고 예상함
• 참고자료에 의하면 15,000개의 오디오 트랙을 업로드했는데 각각의 길이가 5분일 경우, 15,000 5분 = 75,000분 $0.003 = $225

AWS Lambda + FFmpeg

• AWS Lambda, FFmpeg 에 대한 공부가 필요함
• AWS Elemental MediaConvert 보다 비용이 저렴함

참고자료

• Can someone explain to me why MediaConvert is so expensive for audio encoding?

결론

• 우선 API 서버랑 같은 EC2 에서 FFmpeg 를 사용해서 HLS 포맷으로 인코딩 후, AWS S3 에 업로드하자.
• 속도 이슈나 이런 부분이 생기면 추후 Nginx 도입하고 서버 분리하기

[Daeho-Son]

FFmpeg 란?

마이클 니더마이어(Michael Niedermayer)의 주도하에 개발되고 있는 모든 동영상, 음악, 사진 포맷들의 디코딩과 인코딩을 목표로 만들어지고 있는 오픈 소스 프로젝트이다. 국내에서 많이 사용하는 대표적인 동영상 재생 프로그램인 곰플레이어, KMP 플레이어, 다음과 네이버의 동영상 플레이어들이 내부적으로 FFmpeg을 사용하여 압축 된 동영상의 압축을 해제한 후 압축이 해제된 데이터를 적절한 UI를 통해서 출력하고 있다.

FFmpeg 에서 제공하는 기능

• ffmpeg - 미디어 포맷 변환 도구
• ffplay - 간이 파일 재생기
• ffprobe - 미디어 정보 표시 도구
• ffserver - 라이브 방송을 하는 멀티미디어 스트리밍 서버. 버전 3.4 이후 제거되었다.
• libavcodec - 오디오/비디오 코덱 라이브러리
• libavformat - 멀티미디어 컨테이너의 디먹서/먹서 라이브러리
• libavdevice - 입출력 장치 제어 라이브러리
• libavfilter - 미디어 필터 라이브러리
• libswscale - 이미지 처리 라이브러리
• libswresample - 오디오 처리 라이브러리

옵션

• -i [input]
  • 입력 파일을 지정한다.
• -vcodec [codec], -acodec [codec] 또는 -c:v [codec], -c:a [codec]
  • 비디오 코덱, 오디오 코덱을 지정한다. 사용할 수 있는 코덱은 ffmpeg -encoders로 확인할 수 있다. copy로 지정하면 기존 스트림을 인코딩 하지 않고(direct stream) 복사한다.
• -vf [filter], -af [filter]
  • 비디오, 오디오에 필터를 적용한다. 크롭, 리사이즈, 속도 변경 혹은 ASS, SRT 자막을 입히는 등의 처리를 할 수 있다. 참고로 자막을 입히는 건 폰트 때문에 윈도에서는 환경변수를 지정해 줘야 한다.
• -b:v [bitrate], -b:a [bitrate]
  • 비디오, 오디오의 비트레이트를 지정한다.
• -crf [quality]
  • 비트레이트 대신 화질 기준으로 인코딩할 때 쓰는 옵션. libx264 코덱 기준 사용 가능 범위 0-51, 0은 무손실, 디폴트는 23
• -y
  • 파일 명이 중복될 경우 묻지 않고 덮어쓴다.
• -re
  • 인코딩 속도를 Realtime, 즉 1x(실시간)으로 제한한다. 로컬 파일을 ffserver로 스트리밍 시 실시간으로 feed를 전송하기 위해서 필요하다.
• -f [container]
  • 입출력 포맷을 지정한다. 따로 적지 않아도 파일 확장자에 맞춰서 해준다.
• -t [time]
  • 지정된 시간(초 단위) 만큼 인코딩한다.
• -ss [time]
  • 지정된 시간(초 단위) 만큼 건너뛰고 인코딩한다. hh:mm:ss 방식으로도 표기가 가능하다.
• -to [time]
  • 지정된 시간(초 단위)까지만 잘라내고 인코딩한다. 위의 -ss 처럼 hh:mm:ss 방식으로 입력할 수도 있다.

참고자료

• [나무위키] FFmpeg
• [FFmpeg] Documentation
• [FFmpeg] Developer Documentation
• [위키독스] FFmpeg 레퍼런스
• JAVA 에서 FFMPEG를 통한 영상 정보 읽기 및 영상 인코딩(압축) 처리 도전기

[Daeho-Son]

Spring Boot + FFmpeg wrapper

참고자료

• [Github] bramp/ffmpeg-cli-wrapper
• 영상 스트리밍 #7. 스트리밍 - HLS protocol
• [SpringBoot] FFmpeg 를 통한 영상 다루기 chapter.01
• ffmpeg & spring 연동하고 hls로 영상 스트리밍하기

[Daeho-Son]

multipart/form-data

• https://lena-chamna.netlify.app/post/http_multipart_form-data/

[Daeho-Son]

AWS S3

• https://inpa.tistory.com/entry/AWS-📚-S3-버킷-생성-사용법-실전-구축