오늘 한 일

[gkswls321]

하룻동안 한 내용들 적어주세요

[kimdonggwan337]

aws, 클라우드 와치를 통해 로그 분석 시스템 학습

[PeachLime]

2021-05-13 최병섭

CloudWatch 로깅 자동화 연구

[Beomkim95]

콘솔을 이용하여 Lambda에 대한 log를 CloudWatch를 통해 S3에 저장하기

[sys1781]

2021-05-13 Azure Security center 안의 Azure Defender 서비스를 이용하여 Azure sentinel과 연결 실습

[kimdonggwan337]

2021-05-17 AWS 환경 구축 학습

[sys1781]

2020-05-17 AWS와 Azure 보안관제 연결 실습

[geumsoyeong]

2021-05-17 금소영 발표 피피티 ver3.2 까지 완성 + 추가중

[gonggyeongsun]

2020-05-17 공경선 S3에 람다로 로그를 읽어 와서 로그 분석

[Beomkim95]

2020-05-17 김범 Lambda 클라우드 워치 로그 콘솔로 s3에 저장 실습 / Lambda 클라우드 워치 로그 Lambda 함수로 s3에 저장

[PeachLime]

2021-05-17 최병섭

AWS lambda로 CloudWatch의 실시간 로그 가져오기 1) 로그 저장 대상은 다른 lambda 함수이다. (예: SNS lambda) 2) 연동한(?) lambda 함수가 발동하여 로그가 생길 경우 로그 저장 lambda의 CloudWatch Log 트리거가 발동하여 연동한 lambda의 로그를 CloudWatch로 부터 받아온다.

• 받아온 데이터는 base64로 인코딩되어 있으며, 원본 데이터는 파일값인 hex값이다. 3) 받아온 데이터의 base64 인코딩을 디코딩 후 S3에 파일로써 쓴다(저장한다). 4) S3에 저장되는 파일은 .gz형식의 파일이며, 통상적으로는 이를 압축 해제해야 하지만, 파이썬에서는 파일 압축해제 없이 바로 읽어들이는 방법이 있다.

주의점 1) 저장된 로그파일의 내용물 중 탭과 줄바꿈을 의미하는 \t 와 \n 가 적용되지 않고 문자 그대로 출력 되기에 이에 대한 추가적인 처리가 필요해 보인다.

2) 다른 lambda에 대한 로그를 lambda를 통해 저장할 경우, lambda가 자주실행되는 특성상 요금에 대한 위험요소에 대해서 논의해볼 필요가 있어보인다.

[kimdonggwan337]

2021-05-20 김동관

AWS ubuntu 환경구축

[PeachLime]

2021-05-20 최병섭

1. 용석이 형이 만든 테스트용 칼리 리눅스에 WinSCP로 웹해킹 테스트 목적으로 예전에 과제로 만든 웹페이지랑 간단한 로그인 웹페이지를 업로드하였다.

2. 혹시 인스턴스에 포트스캐닝을 시도하였을 경우 (AWS 자체 보안 기능이 있다는 가정하에)AWS 자체 기본 보안 기능이 발동하여 인하여 경고 이메일이 오는지 확인하기 위하여 nmap으로 포트스캐닝으로 해보았으나 알림 이메일과 같은이상 사항은 없었다.

   • 다음에는 dos 시도해볼까 한다.

3. 칼리 리눅스에 웹 서비스와 관련된 로그파일이 기본적으로 남는지 탐색하였다.

   • 아파치같은 경우는 기본적으로 기록하는 로그파일이 몇가지 있다.
   • mysql은 로그파일 기록 기능이 있는 것으로 보이지만 기본 설정으로는 비활성화 되어있으며, 수동으로 해당 기능을 활성화 시켜주어야 한다. 해당 기능을 테스트해 볼 것이다.
   • 리눅스 자체의 여러가지 시스템 로그들이 있다. 아직 자세히 볼 계획은 없다.

4. CloudWatch Agent는 EC2에 생성된 로그파일을 실시간으로 CloudWatch에 전송하는 기능을 하는 것으로 보인다.

   • CloudWatch Agent를 사용하기 위해서는 원하는 로그파일이 EC2 인스턴스안에 있거나 원하는 로그파일을 EC2 인스턴스안에 만들어 두어야 한다.
   • 자체적인 로그파일을 만들어야 할 수도 있다.
   • 로그파일이 특별한 규격에 맞춰서 작성되어야 하는지는 아직 모른다.

[sys1781]

2021-05-20 서용석 EC2_CloudWatch_Agent____.pdf

EC2(_)DVWA..pdf

1. EC2(칼리리눅스)로 dvwa서버 업데이트.
2. EC2에 CloudWatch Agent 구성하여 로그 모니터링

[gonggyeongsun]

2021-05-21 김범, 공경선

1. Mysql의 error log와 general log를 수집
2. EC2의 log 수집
3. Apache2를 실행시키고 apache log 수집
4. 1~3의 모든 log를 Cloudwatch agent를 통해 Cloudwatch log 그룹에 보관.

향후해야할 것

1. cloudwatch log 그룹에서 수집된 log를 lambda를 통해 s3에 저장
2. cloudwatch agent가 실시간으로 스트리밍해서 cloudwatch log그룹에 수집된 것인지 확인 필요
3. log같은 것들이 방대하게 모여있는 데 여기서 필요한 로그만 필터링해서 분류해야함

[Beomkim95]

2021-05-24 김범

1. 트리거를 통해 Cloudwatch Log Group 내용 -> s3로 저장하는 Lambda 구축
2. 트리거 없이 Cloudwatch Log Group 내용 -> s3로 저장하는 Lambda 구축
3. 트리거 없는 Lambda 5분마다 자동 진행하기
4. 비용등을 고려하여 트리거 없이 로그 그룹을 저장하는 Lambda를 사용할 예정

[geumsoyeong]

2021-05-24 금소영

1. 클라우드 트레일의 정확한 기능
2. 수집, 저장하는 로그에 대한 종류/내용
3. 람다와의 연동 범위, 방법 -> s3버킷에 로그를 바로 저장해주기 때문에 trail과 람다의 연동이 아닌 trail에서 읽은 로그가 저장된 s3와 람다의 연동만 생각하면 됨
4. 수집해서 s3버킷에 저장하는 로그의 필터링 가능 여부 확인
5. 어느 범위까지 로그를 저장할지에 대한 것
6. cloudtrail 구축 - s3자동 생성

[PeachLime]

2021-05-24 최병섭

1. 람다에서 주도적으로 CloudWatch에 저장되어 있는 특정 로그 그룹의 로그를 가져오는 기능을 구현하였다.
   • 참고 웹페이지: https://medium.com/dnx-labs/exporting-cloudwatch-logs-automatically-to-s3-with-a-lambda-function-80e1f7ea0187
   • 제한사항:
   • 1) 오토스케일링과 연관하여 자동화에 적용할 때, 해당 로그 그룹의 태그 부분에 S3에 저장여부를 판별할 수 있는 태그를 설정할 수 있고, 하게되면 좀더 수월하게 자동화에 적용할 수 있을것 같다.
   • 2) 해당 로그 그룹의 전부를 긁어오는 단순한 역할밖에 하지 못한다. 좀 더 지능적이게 가져오려면 추가적인 분석이 필요하다.

저장한 로그는 S3의 test-cbs-cwl-logging 버킷에 저장되고 있다.

[gonggyeongsun]

2021-05-24 공경선 람다를 통해 FSx에 저장 시키는 법 조사 및 실습

[sys1781]

2021-05-24 서용석

1. AWS 계정에 CloudWatchFullAccess 권한 부여 방법 조사 (추후 Azure security center에 연결시 시도) (https://whchoi98.gitbook.io/aws-iam/iam-policy)
2. CloudTrail 로그를 Azure Sentinel로 가져 오는 AWS Lambda 함수 생성 방법 조사(https://github.com/Azure/Azure-Sentinel/tree/master/DataConnectors/AWS-CloudTrail-Ingestion-Lambda) --> Azure와 AWS 연결시 다른 방법으로 로그 가져오는 법.

[kimdonggwan337]

2021-05-26 김동관 matplotlib 를 이용해 그래프 생성 테스트 수행

[PeachLime]

2021-05-26 최병섭

1. logstash 라는 프로그램을 이용해 테스트용 칼리 리눅스 EC2 인스턴스에서 CloudWatch에 기록되어 있는 my-s3-function 람다 함수에 대한 로그를 실시간 스트리밍 하는 기능을 구현했다. 1) 이를 본래 목적에 맞게 구현하기 위해서는 제3자가 만든 logstash 플러그인인 logstash-input-cloudwatch-logs 플러그인을 logstash에 설치하였다.

   2) CloudWatch의 임의의 로그 그룹을 실시간으로 가져올 수 있으며, logstash로 가져온 로그 데이터를 기본 플러그인인 logstash-output-file 플러그인으로 파일에 기록, 저장할 수 있다.

   3) logstash-input-cloudwatch-logs가 가져오는 로그에 대한 기본 설정으로 과거에 가져온 로그 그 다음부터 최신 로그까지 가져온다.

   • 예) 로그가 1 ~ 10번 까지 있고 과거에 1 ~ 8번까지 가져왔다고 가정한다. 이럴 때 로그를 수집하고 있던 logstash가 정지된 후 로그를 가져오는 config파일을 통해 다시 실행될 때, logstash는 기존에 가져온 8번 다음 로그인 9번부터 가장 최신 로그인 10번까지 가져온다.
   • 사용자 의도로 CloudWatch 로그 그룹의 첫 로그부터 다시 가져오는 방법은 모르기에 관련 설정법에 대한 추가 조사가 필요하다.

   4) logstash는 프로그램이기 때문에 EC2 인스턴스 혹은 컨테이너가 필요하다. (현재의 지식 기준)

   • Azure에 로그 기록을 전송해야 하고 프로젝트 목표에 따라서 AWS 서비스들로부터 독립되어야 하기에 때문에 logstash를 실행하는 VM 인스턴스 혹은 컨테이너를 생성한 뒤에 그곳에서 실행하면 되지 않을까 한다.
   • AWS ElasticSearch 같은 ELK를 모방하거나 자사에 맞게 적용한 공용 클라우드 제품들이 프로젝트에 필요한 기능을 수행할 수 있을지는 미지수이다.
   • Azure는 logstash와 Azure Sentinel 간의 호환성을 위해 Azure Sentinel로 logstash가 수집한 데이터를 보낼 수 있는 방법이 있는 것으로 보인다. (참조 문서: https://docs.microsoft.com/ko-kr/azure/sentinel/connect-logstash)

   5) my-s3-function가 한번 실행 되었을 때의 로그 크기는 9.8kb 이며, my-s3-function이 1백만번 실행될 경우의 로그 크기는 9.8gb 이다.

   • 테스트 및 디버깅 목적으로 추가적인 로그를 발생시킨 점을 감안하여야 한다.
   • 기록하는 로그의 내용과 종류에 대해서 논의가 필요해 보인다.

[geumsoyeong]

2021-05-26 금소영 WAF 연결 알아보기 기존의 SIEM 상품들 처리해주는 것들 정보 수집

[Beomkim95]

2020-06-04 web apache2-error-log 내용 중 필요한 부분 각각의 리스트로 구성하기

[gonggyeongsun]

watch -> trail : XXX 안됨

zap으로 웹서버 공격 및 로그 확인

mysql error log 분석

[sys1781]

Azure 보고서 생성작업 Azure , AWS IAM 연결 작업

[PeachLime]

2021-06-04 Cloudwatch가 기록하는 EC2에 대한 정보를 (CPU 점유율, 네트워크 트래픽 등) 가져오기

• AWS CLI를 통해 받아올 수 있다.
• 뽑아낸 데이터는 json 형식으로 저장된다.
• 받아오는 방식에 대해서는 관련 공식 문서에서 확인 할 수 있다.
• https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/viewing_metrics_with_cloudwatch.html#list-ec2-metrics-cli
• https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/monitoring_get_statistics.html