향수 크롤링 여러 노드에서 동시에 작업가능하도록 개선

[junhaesung]

동시작업위한 status 추가

다른 노드에서 처리중인 상태를 추가

• AS-IS : processing, success, failure
• TO-BE : waiting, processing, success, failure

Jenkins slave 노드 추가

https://d1.awsstatic.com/Projects/P5505030/aws-project_Jenkins-build-server.pdf

위에꺼 안돼서 이거보고 다시함 https://techviewleo.com/install-jenkins-server-on-amazon-linux/

daemonize https://stackoverflow.com/questions/68806741/how-to-fix-yum-update-of-jenkins

$ sudo amazon-linux-extras install epel

Install

$ sudo yum -y update
$ sudo amazon-linux-extras install -y java-openjdk11
$ sudo tee /etc/yum.repos.d/jenkins.repo<<EOF
[jenkins]
name=Jenkins
baseurl=http://pkg.jenkins.io/redhat
gpgcheck=0
EOF
$ sudo rpm --import https://jenkins-ci.org/redhat/jenkins-ci.org.key
$ sudo amazon-linux-extras install -y epel
$ sudo yum install -y jenkins
$ sudo systemctl start jenkins

Start

$ sudo systemctl start jenkins
$ sudo cat /var/lib/jenkins/secrets/initialAdminPassword
$ wget JENKINS_MASTER_HOST/jnlpJars/agent.jar
# execute agent jar to connect master

stop

크롤링 다 끝나면 ,

• [x] master 노드에서 slave 노드 설정 제거
• [x] ec2 인스턴스 삭제

[junhaesung]

이렇게 귀찮은줄 알았으면 도커 이미지 쓸걸 ㅠ_ㅠ