Data Engineering : TODO

[su3inni]

Data Engineering, Data Analyst처럼 데이터와 관련된 직무에 관심이 있다. Data Platform Engineering 모두 데이터와 연관되어있는 직무를 하고 싶을 때 무엇을 알고 있어야하는지 TODO를 기록한다.

Basic

• 네트워크 개론
  • 네트워크 개념과 아키텍처
• 성능 및 모니터링 테스트
  • 리눅스 환경에서 성능 모니터링 방법/도구
    1. CPU 사용량 모니터링
    2. Memory 모니터링
    3. Disk 모니터링
    4. 성능 테스트
• 전반적인 데이터 저장/처리 방법
  1. 데이터의 이해
  2. 빅데이터 스토리지
  3. 빅데이터 모델
  4. 스토리지 분산 모델
  5. 데이터 프로세싱
  6. 맵 리듀스
  7. 스트림 처리
  8. 분석/시각화
  9. 아키텍처
• RDBMS 이해
• Hadoop 기본
• 빅데이터 저장/처리를 어떻게 해야하는지에 대한 방법

[su3inni]

Alpha

• HTTP

  1. HTTP 구조
  2. HTTP 메소드
  3. Conditional GET
  4. Cache
  5. Cookie
  6. HTTPS
  7. HTTPS2 Concept

• Secure coding 취약한 웹 애플리케이션(Spring boot 기반)을 직접 안전한 애플레케이션으로 개선해나가며 웹 보안 버그들과 이를 대응할 수 있는 시큐어 코딩

  • 서비스에서 발생하는 보안 버그를 이해 할 수 있다.

  • 개발 시 보안상 주의 할 점을 알 수 있다.

  • 보안 버그 발생시 직접 패치 할 수 있다. ​

  • Cross-Site Scripting (XSS)

  • SQL Injection

  • Business Logic Vulnerability

  • Cross-Site Request Forgery (CSRF)

  • Open Redirection

  • API Vulnerabilities

  • Server-Side Request Forgery (SSRF)

  • Open-source Security

• 웹 어플리케이션

  • 웹/서버에 필요한 지식

• MySQL기반 분산 RDBMS 방법

• 데이터베이스 모델링 : DATA modeling

• MySQL 기본 과정 > MySQL 내부 구조

• MongoDB

• ElasticSearch 이해

• Spark 아키텍처와 주요 컴포넌트

• Kafka로 실시간 데이터 프로세싱 방법 확인

• Apache Flink로 실시간 데이터 처리

  • Flink Streaming