[01-09] AWS 스토리지 추가 기능 2

myeongJJi commented 9 months ago

Amazon FSx 개요

AWS에서 타사의 3rd party 고성능 파일 시스템을 실행 시킴
완전 관리형 서비스
예를 들어 RDS에서 AWS에 MySQL이나 Postgres를 실행하는 것과 같은 개념
FSx for Lustre, FSx for Windows File Server, FSx for MetApp ONTAP, FSx for OpenZFS 이 외에도 다른 파일 시스템도 있으나 4가지는 시험에 주로 나오는 녀석들

완전 관리형 Windows 파일 서버 공유 드라이브로 Windows 를 사용하기 때문에 SMB 프로토콜과 Windows NTFS 지원
또한 Microsoft Active Directory 통합을 지원하므로 사용자 보안을 추가할 수 있고 ACL로 사용자 할당량을 추가해 액세스를 제어할 수 있음 - 윈도우 뿐만 아니라 Linux EC2 인스턴스에도 마운트 할 수 있단 것 기억합시다
가령 기존에 온프램 등에 Windows 파일 서버가 있는 경우 Microsoft 분산 파일 시스템인 DFS 기능을 이용해 파일 시스템을 그룹화 할 수 있음
- 이렇게 하면 온프램의 Windows 파일 서버와 FSx for Windows File Server를 결함할 수 있음
- 성능
- 초당 수십 GB의 수백만 IPOS, 수백 PB의 데이터까지 확장될 수 있음
- 스토리지 옵션
  - SSD : 지연시간이 짧아야 하는 워크로드에 저장할 수 있음 (데이터베이스, 미디어 처리, 데이터 분석 등등)
  - HDD : 더 비용이 저렴한 HDD로 넓은 스펙트럼의 워크로드를 저장할 수 있음 (home directory, CMS 등등)
- 프라이빗 연결로 온프램 인프라에서 액세스 할 수 있음 (VPN or Direct Connect)
- 고가용성 다중 AZ에 대해 FSx for Windows File Server를 구성할 수 있음
- 모든 데이터는 재해 복구 목적으로 Amazon S3에 매일 백업됨

Lustre는 원래 분산 파일 시스템으로 대형 연산에 쓰였음
Lustre는 Linux와 클러스터를 합친 단어로 머 러닝과 HPC, 즉 고성능 연산에 쓰였음
동영상 처리나 금융 모델링, 전자 설계 자동화 등 애플리케이션에서 쓰임
확장성이 상당히 높음 (초당 수백 GB의 데이터에 수백만 IOPS로 확죙되고 밀리초보다 짧은 지연 시간을 자랑)
스토리지 옵션
- SSD : 짧은 지연시간, 크기가 작은 무작위 파일 작업이 많으면 IOPS도 사용 가능
- HDD : 처리량이 많은 워크로드나 크기가 큰 시퀀스 파일 작업에는 HDD 사용 - S3와 무결절성 통합 가능
- read S3으로 FSx의 파일 시스템을 읽어 들일 수 있음
- FSx의 연산 출력값을 다시 Amazon S3에 쓸 수 있음
VPN과 직접 연결을 통해 온프램 서버에서 사용할 수 있음

임시 스토리지로 데이터가 복제되지 않음 (파일 서버가 오작동하면 파일이 모두 유실)
하지만 최적화로 high 버스트를 사용할 수 있음 (Persistent File System 보다 성능을 6배 높을 수 있음, TiB 처리량당 초당 200MB의 속도)
Usage : 단기 처리 데이터, 데이터 복제가 없어 비용을 최적화 할 수 있음

AWS의 관리형 NetApp ONTAP 파일 시스템
NFS, SMB, iSCSI 프로토콜과 파일 시스템 호환 가능
ONTAP을 이용해 NAS에서 실행 중인 워크로드를 AWS로 옮길 수 있음
다양한 운영체제에서 사용 가능
- Linux
- Windows
- MacOS
- VMware Cloud on AWS
- Amazon Workspaces & AppStream 2.0
- Amazon EC2, ECS and EKS
스토리지는 자동으로 확장 및 축소됨 (오토스케일링)
복제와 스냅샷 기능도 지원. 비용도 적게 들고 데이터 압축이나 데이터 중복제거도 가능
아주 유용한 Point-in-time instantaneous (지정 시간 동시 복제 기능)이 있음 (새 워크로드를 테스트 할 때 아주 유용 - 파일 시스템에서 신속히 복제가 가능하고 스테이징 파일 시스템을 둘 수 있음)

AWS의 관리형 OpenZFS 파일 시스템
여러 버전에서의 NFS 프로토콜과 호환이 가능
주로 ZFS에서 실행되는 워크로드를 내부적으로 AWS로 옮길 때 사용
다양한 운영체제에서 사용 가능
- Linux
- Windows
- MacOS
- VMware Cloud on AWS
- Amazon Workspaces & AppStream 2.0
- Amazon EC2, ECS and EKS
성능이 상당히 좋아서 백만 IOPS까지 확장 가능하고 지연 시간은 0.5 밀리초 이하
스냅샷, 압축을 지원하고 비용이 적지만 데이터 중복제거 기능은 없음
NetApp ONTAP처럼 Point-in-time instantaneous (지정 시간 동시 복제 기능)이 있어서 새 워크로드 테스트 시 유용

fxzyk commented 9 months ago

시험에 주로 나오는 친구들이라하는거보니 자격증 준비하시나보군요+_+ 화이팅!

myeongJJi commented 9 months ago

맞슴돠><!! 자격증 15만원 내쒀여!! 아자아자 홧팅입니다!!