strange-study / ss-spark

스팤 스터디 ✨

4 stars 2 forks source link

[Project] 서버 구축 #42

Open jin5335 opened 3 years ago

jin5335 commented 3 years ago

서버 구축

요구 사항

크롤링 스크립트를 데일리 배치로 실행
스파크 작업을 실행

작업

배치 잡 실행

cron 사용
jenkins 사용
github action (조사)
- https://github.com/zzsza/github-action-with-python

스파크 작업 실행

스파크 설치
- 참고 - https://m.blog.naver.com/semtul79/221490035474
- aws 프리티어인 ec2 사용 ( cpu / memory 넘 적어....)
- /opt/spark 설치

결과

DNS: ec2-52-78-70-202.ap-northeast-2.compute.amazonaws.com
Public-ip: 52.78.70.202
ssh command: ssh -i ss-spark.pem ubuntu@ec2-52-78-70-202.ap-northeast-2.compute.amazonaws.com

jin5335 commented 3 years ago

ssh -i ss-spark.pem ubuntu@ec2-54-180-143-109.ap-northeast-2.compute.amazonaws.com

public-ip: 54.180.143.109