Load Balancer

서버에 가해지는 트래픽을 여러 대의 서버에 고르게 분배하여 특정 서버의 부하를 덜어줌
하나의 서버에 많은 트래픽이 몰리게 되면 부하를 감당하지 못해 서버가 다운 되고 서비스가 정상적으로 이루어 지지 않음
문제 해결위해 Scale Up과 Scale Out
- Scale Up: 기존 서버의 성능을 향상 시키는 방법, CPU, 메모리 업글
- Scale Out: 서버를 늘려 요청을 분산하여 처리

	Scale up	Scale out
확장성	확장에 한계 존재	지속적 확장이 가능
서버 비용	성능 증가에 따른 비용이 큼	비교적 저렴한 서버를 사용해 비용 부담이 적음

장점

성능
- 서버 간의 균등하게 요청을 흘려 보내 어플리케이션 성능 향상
- 요청을 지리적으올 더 가까운 섭러ㅗ 리다이렉션하여 시간 단축
확장
- 한 서버의 병목 현상 방지
- 새로운 서버의 추가 기능
보안
- 트래픽 모니터링, 악성 컨텐츠 차단
- 트래픽 라우팅 등등

요청 과정

gateway에서 요청이 들어오면 eureka서버에 요청을 보냄
- 요청:
  - eureka server에 등록된 resource server의 health상태
  - gateway는 30초마다 eureka server에 자동으로 요청을 보냄
eureka server는 api server의 상태 데이터를 gateway에 응답
- 이 때 gateway는 응답 받은 데이터를 캐싱
![[Pasted image 20240219203256.png]]
- up 상태의 서버만 gateway에 응답함.
- down 상태인 서버는 gateway가 요청을 했을 때 응답 데이터로 안넘어감
- gateway는 다음 요청을 보낼 때까지 캐싱 된 정보로 api server에 요청을 보냄
gateway는 up인 상태를 확인 한 후 api server에 요청을 round robin방식으로 요청 보냄
resource서버는 30초마다 eureka서버에 heart beat(심박수) 신호를 보냄
- eureka서버는 90초 마다 api server에서 heart beat가 들어오는 지 확인
- 90초 안에 신호가 오지 않았으면 eureka서버는 신호가 오지 않은 resourse서버를 down 상태로 변경
- 이런 경우엔 실제 resourse서버는 살아 있지만, eureka서버에는 down상태여서 gateway는 down상태로 표시된 서버로 요청을 보내지 않음

무 중단 배포 과정

`resourse2` 서버를 먼저 배포

jar 파일 패키징 후 docker에 push한 후
1. resource2서버는 eureka서버에 본인의 health상태를 down으로 만드는 요청 보냄
2. eureka서버는 응답을 받으면 resourse2서버의 health상태를 down으로 표시
  - 주의 할 점
  - down요청을 보내고 eureka서버에 down로 변경이 돼도 resouce2서버를 바로 종료시키면 안됨
  - 그 이유는 위에서 gateway는 30초 마다 eureka서버에 요청을 보내서 api서버의 health상태 데이터를 받은 후 캐싱
  - down이 되고 바로 끄게 되면 gateway가 요청을 보내고 캐싱을 안 했을 수 도 있음
  - 이런 경우에는 resource2서버를 종료 시켰음에도 gateway는 resouce2의 상태가 up인 상태 데이터가 캐싱 되어 있어서 resource2서버에 요청을 보냄
  - 그러면 client에 서버를 찾을 수 없다는 표시가 뜸
  - resourse2서버를 종료할 때는 gateway에서 새롭게 캐싱을 한 뒤에 종료 시켜야함
3. gateway가 resource서버의 health정보 요청을 eureka서버에 보내고 응답을 받아 캐싱
4. gateway가 resource1 서버로만 보내는 걸 확인 후 resourse2서버를 종료
  - CI/CD과정에서는 수동으로 볼 수 없으니 gateway의 캐싱시간만큼 기다렸다가 resource2서버를 종료 시킴
5. 종료된 resource2서버에 jar 파일 배포 후 서버 가동
  - 서버를 시작하게 되면 자동으로 eureka서버에 up상태로 등록
    resourse1 배포

gateway가 캐싱하여 round robin방식으로 요청을 보내는 지 확인
- 요청을 보내는 지 확인하는 이유:
  - gateway가 30초 마다 캐싱하는 시간이 있으므로 resource2서버가 eureka서버에 up상태여도 캐싱이 되지 않았으면 resource2서버에 요청을 보내지 않음
  - 이 경우에 up 상태가 됐다고 바로 resource1서버를 종료 시켜버리면 client가 볼 땐 서버가 연결이 안됨
- 수동일 땐 직접 입력을 해서 서버가 캐싱 유무를 측정할 수 있지만, CI/CD단계에서는 불가능 하므로 이 때도 gateway의 캐싱시간을 기다림
gateway가 캐싱이 되면 resource1은 eureka서버에 본인의 health 상태를 down으로 만드는 요청을 보냄
eureka서버는 요청이 오면 resource1서버의 health 상태를 down으로 표시
- 주의할 점은 위에 resource2 배포 과정을 설명 할 때 했으므로 넘어감
gateway가 eureka서버로 부터 캐싱
gateway가 캐싱되면 resource1서버를 종료시키고 배포 시작
- resource1서버가 배포가 끝나고 시작이 될 때 eureka서버에 up으로 등록

환경 설정

Eureka Server

`Eureka Server`인스턴스 등록

로드 밸런싱을 위한 유레카 서버 및 resource2 서버 인스턴스 등록
플로팅 주소로 접속해서 docker등록하는 방식은 CI/CD github-action설정 할 때 나와 있으므로 생략
- resource2서버 CI/CD 또한 github-action

`java` 설정

pom.xml


<properties>  
    <java.version>11</java.version>  
    <spring-cloud.version>2021.0.8</spring-cloud.version>  
</properties>  

<dependencyManagement>  
    <dependencies>  
        <dependency>  
            <groupId>org.springframework.cloud</groupId>  
            <artifactId>spring-cloud-dependencies</artifactId>  
            <version>${spring-cloud.version}</version>  
            <type>pom</type>  
            <scope>import</scope>  
        </dependency>  
    </dependencies>  
</dependencyManagement>

spring cloud 의존성 주입

<dependency>  
    <groupId>org.springframework.boot</groupId>  
    <artifactId>spring-boot-starter-actuator</artifactId>  
</dependency>

actuator 의존성 주입

<dependency>  
    <groupId>org.springframework.cloud</groupId>  
    <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>  
</dependency>

eureka 의존성 주입

`EurekaApplication`

import org.springframework.boot.SpringApplication;  
import org.springframework.boot.autoconfigure.SpringBootApplication;  
import org.springframework.cloud.netflix.eureka.server.EnableEurekaServer;  

@EnableEurekaServer  
@SpringBootApplication  
public class EurekaApplication {  

    public static void main(String[] args) {  
        SpringApplication.run(EurekaApplication.class, args);  
    }  
}

Eureak가 Server이므로 @EnableEurekaServer 추가

`SecurityConfig`

@EnableWebSecurity(debug = false)  
@Configuration  
public class SecurityConfig {  
    @Bean  
    public SecurityFilterChain filterChain(HttpSecurity http) throws Exception {  
        http  
                .csrf()  
                .disable()  
                .authorizeRequests()  
                .anyRequest().authenticated()  
                .and()  
                .httpBasic();  

        return http.build();  

    }}

eureka에서 security를 통해 인증된 사용자만 eureka 서버에 접속 해야하므로 security config파일 생성

`application.properties`

server.shutdown=graceful  
spring.lifecycle.timeout-per-shutdown-phase=10s

서버를 종료 시 남은 작업이 있을 수 있으므로, 안전한 종료를 위해 남은 작업을 처리 할 시간을 줌
위에 설정에선 서버 종료가 되면 10초동안 서버의 남은 작업을 처리하고 종료
- 작업이 남았는데 10초가 넘어가면, 남은 작업을 처리하지 못하고 바로 종료

eureka.client.register-with-eureka=false  
eureka.client.fetch-registry=false

Eureka서버에 client로 등록 여부
- eureka 서버이기 때문에 eureka서버에 registry로 등록할 필요가 없기 때문에 false
Eureka서버에 등록된 registry의 정보를 가지고 올지 여부
- eureka서버에서는 registry의 정보를 가지고 오는 건 필요가 없으므로 false

`application-prod.properties`

spring.security.user.name={입력 할 아이디}  
spring.security.user.password={입력 할 비밀 번호}  
server.port={서버 포트}

security user id, password 설정
- 해당하는 값을 입력을 해야 eureka server접속 가능

eureka.server.my-url={서버 url}
eureka.client.service-url.defaultZone=http://${spring.security.user.name}:${spring.security.user.password}@{eureka 서버 IP 주소}:${server.port}/${eureka.server.my-url}/

Gateway

`java`설정

pom.xml


<properties>  
    <java.version>11</java.version>  
    <spring-cloud.version>2021.0.8</spring-cloud.version>  
</properties>  

<dependencyManagement>  
    <dependencies>  
        <dependency>  
            <groupId>org.springframework.cloud</groupId>  
            <artifactId>spring-cloud-dependencies</artifactId>  
            <version>${spring-cloud.version}</version>  
            <type>pom</type>  
            <scope>import</scope>  
        </dependency>  
    </dependencies>  
</dependencyManagement>

spring cloud 의존성 주입

<dependency>  
    <groupId>org.springframework.boot</groupId>  
    <artifactId>spring-boot-starter-actuator</artifactId>  
</dependency>

actuator 의존성 주입

<dependency>  
    <groupId>org.springframework.cloud</groupId>  
    <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>  
</dependency>

eureka 의존성 주입

`GatewayApplication`

@SpringBootApplication  
@EnableDiscoveryClient  
public class GatewayApplication {  

    public static void main(String[] args) {  
       SpringApplication.run(GatewayApplication.class, args);  
    }  
}

@EnableDiscoveryClient annotation추가

`GatewayConfig`

@Configuration  
@RequiredArgsConstructor  
public class GatewayConfig {  
    private final UrlProperties urlProperties;  

    /**  
     * methodName : customRouteLocator     * author : damho-lee     * description : gateway 설정. 각각 해당하는 서버로 요청 보내준다.  
     * auth로 들어온 요청은 auth서버로 처리한다.  
     * resource 서버는 Eureka를 이용해 라운드 로빈 방식으로 동작한다.  
     *     * @param builder .  
     * @return route locator  
     */    @Bean  
    public RouteLocator customRouteLocator(RouteLocatorBuilder builder) {  
        return builder.routes()  
                .route("auth_route", r -> r.path("/auth/**")  
                        .uri(urlProperties.getAuth()))  
                .route("resource-service", p -> p.path("/api/**").and()  
                        .uri("lb://RESOURCE-SERVICE")  
                )                .build();  
    }}

.route("{api 서버에서 eureka서버로 등록할 application.name의 값과 동일 해야함}", p -> p.path("/api/**").and()
.uri("lb://{위에 동일하게 api 서버에서 eureka 서버로 등록할 application.name과 동일하게 작성}")

`application.properties`

spring.application.name=spring-cloud-gateway-service

eureka서버에 등록할 이름

eureka.client.register-with-eureka=true  
eureka.client.fetch-registry=true  

eureka.instance.prefer-ip-address=true  
eureka.instance.instance-id=gateway

eureka에 registry로 등록을 true
eureka에 등록된 registry의 정보를 eureka로 부터 받아와야 하므로 true
eureka.instance.prefer-ip-address=true
- eureka에 등록 할 때 value 값을 gateway ip주소로 eureka에 등록

eureka서버에 instance-id값 지정

eureka.client.service-url.defaultZone=http://{유레카에서 지정한 아이디}:{유레카에서 지정한 비밀 번호}@{유레카 서버 ip 주소}:{유레카 서버 포트}/{api 명세}

eureka서버의 url입력

`Resource` 서버

`instance server startup.sh`

instance서버에 접속 한 후 administrator 로그인

result=$(curl -o /dev/null -w "%{http_code}" -X POST http://{resource ip 주소 }:{실제 서버 포트}/api/actuator/status)

유레카 서버에 resource 서버의 health 상태를 down으로 요청

echo "Result1: $result"

sleep 60 # gateway가 캐싱 되어 해당 실행된 resource 서버에 요청을 보내지 않게 기다리는 시간

docker stop resource

sleep 15 # server를 종료 시킨 후 graceful로 지정한 시간 기다림

docker rm resource

docker rmi $(docker images -q) # 서버

docker pull {docker 이미지 경로}

docker run -d --name {docker 이미지 경로} -p {java에서 지정한 port}:{실제 서버 port} -e spring.profiles.active=prod1 -e EXTERNAL_SERVER_IP={resource ip 주소} {docker 이미지 경로}

sleep 60 # 배포 후 gateway가 캐싱 되는 시간


### `java`설정

#### pom.xml
----
```java

<properties>  
    <java.version>11</java.version>  
    <spring-cloud.version>2021.0.8</spring-cloud.version>  
</properties>  

<dependencyManagement>  
    <dependencies>  
        <dependency>  
            <groupId>org.springframework.cloud</groupId>  
            <artifactId>spring-cloud-dependencies</artifactId>  
            <version>${spring-cloud.version}</version>  
            <type>pom</type>  
            <scope>import</scope>  
        </dependency>  
    </dependencies>  
</dependencyManagement>

spring cloud 의존성 주입

<dependency>  
    <groupId>org.springframework.boot</groupId>  
    <artifactId>spring-boot-starter-actuator</artifactId>  
</dependency>

actuator 의존성 주입

<dependency>  
    <groupId>org.springframework.cloud</groupId>  
    <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>  
</dependency>

eureka 의존성 주입

`ResourceApplication`


@SpringBootApplication  
@EnableDiscoveryClient  
public class ResourceApplication {  

    public static void main(String[] args) {  
        SpringApplication.run(ResourceApplication.class, args);  
    }  
}

@EnableDiscoveryClient 추가

`maven.yml`

# This workflow will build a Java project with Maven, and cache/restore any dependencies to improve the workflow execution time  
# For more information see: https://docs.github.com/en/actions/automating-builds-and-tests/building-and-testing-java-with-maven  

# This workflow uses actions that are not certified by GitHub.  
# They are provided by a third-party and are governed by  
# separate terms of service, privacy policy, and support  
# documentation.  

name: Docker Image CI  

on:  
  push:  
    branches: [ "main", "dev" ]  
  pull_request:  
    branches: [ "main", "dev" ]  

jobs:  
  build:  
    runs-on: ubuntu-latest  

    steps:  
      - uses: actions/checkout@v3  

      # jdk 11 세팅  
      - name: Set up JDK 11  
        uses: actions/setup-java@v3  
        with:  
          java-version: '11'  
          distribution: 'temurin'  
          cache: maven  

      # 패키징  
      - name: Build with Maven  
        run: mvn -B package --file pom.xml  

      # 도커 로그인  
      - name: Log in to Docker Hub  
        uses: docker/login-action@v2  
        with:  
          username: ${{ secrets.DOCKER_USERNAME }}  
          password: ${{ secrets.DOCKER_PASSWORD }}  

      # 도커 이미지 빌드  
      - name: Build the Docker image  
        run: docker build -t newjaehun/resource .  

      # 이미지 띄우기  
      - name: push Docker image  
        run: docker push newjaehun/resource  

      # 쉘 스크립트 실행  
      - name: execute shell script  
        uses: appleboy/ssh-action@master  
        with:  
          host: ${{ secrets.SSH_IP }}  
          username: ${{ secrets.SSH_ID }}  
          key: ${{ secrets.SSH_KEY }}  
          port: ${{ secrets.SSH_PORT }}  
          script_stop: true  
          script: "./startup.sh"  

      - name: execute shell script  
        uses: appleboy/ssh-action@master  
        with:  
          host: ${{ secrets.SSH_SERVER2_IP }}  
          username: ${{ secrets.SSH_ID }}  
          key: ${{ secrets.SSH_KEY }}  
          port: ${{ secrets.SSH_PORT }}  
          script_stop: true  
          script: "./startup.sh"  

      # SonarQube 실행  
      - name: Run SonarQube  
        run: mvn sonar:sonar -Dsonar.projectKey=my-books-resource -Dsonar.host.url=${{secrets.SONAR_HOST}} -Dsonar.login=${{secrets.SONAR_TOKEN}}

resource1, resource2서버의 쉘 스크립트를 실행 시켜야하므로 yml파일에 스크립트 실행 구문을 2번 넣음

`ApplicationStatusController`

@RestController  
@RequestMapping("/api/actuator/status")  
public class ApplicationStatusController {  

    private final ApplicationInfoManager applicationInfoManager;  
    private final ApplicationStatus applicationStatus;  

    public ApplicationStatusController(ApplicationInfoManager applicationInfoManager, ApplicationStatus applicationStatus) {  
        this.applicationInfoManager = applicationInfoManager;  
        this.applicationStatus = applicationStatus;  
    }  
    @PostMapping  
    @ResponseStatus(value = HttpStatus.OK)  
    public void stopStatus() {  
        applicationInfoManager.setInstanceStatus(InstanceInfo.InstanceStatus.DOWN);  
        applicationStatus.stopService();  
    }  
}

api 요청이 들어오면 eureka server에게 down상태로 요청하고 응답 받는 controller
setInstanceStatus(InstanceInfo.InstanceStatus.DOWN) 실행 시 eureka서버에게 down으로 알려줌
applicationStatus.stopService실행 시 본인 서버 health상태를 down으로 변경

`ApplicationStatus`

@Component  
public final class ApplicationStatus {  
    private boolean status = true;  

    public void stopService() {  
        this.status = false;  
    }  
    public boolean getStatus() {  
        return status;  
    }}

`CustomHealthIndicator`

@Component  
public class CustomHealthIndicator implements HealthIndicator {  
    private final ApplicationStatus applicationStatus;  

    public CustomHealthIndicator(ApplicationStatus applicationStatus) {  
        this.applicationStatus = applicationStatus;  
    }  
    @Override  
    public Health health() {  
        if (!applicationStatus.getStatus()) {  
            return Health.down().build();  
        }        return Health.up().withDetail("service", "start").build();  
    }}

Properties

server.shutdown=graceful  
spring.lifecycle.timeout-per-shutdown-phase=30s  
spring.application.name=resource-service

서버 강제 종료 시 해당 시간 동안 남은 작업을 마무리하고 안전하게 종료
application.name eureka서버에 표시될 registry그룹의 이름
resource서버가 여러 개 설정이 되도 application.name에 할당된 이름으로 표시
application.name은 gateway 경로 설정 했을 때의 값과 동일하게 작성해야함

eureka.instance.lease-renewal-interval-in-seconds=30  
eureka.client.fetch-registry=true  
eureka.client.register-with-eureka=false

eureka.instance.lease-renewal-interval-in-seconds=30는 resource서버가 eureka서버에 보내는 hart beat 시간 간격(default 30초)
eureka서버에 registry에 등록 여부(client이므로 true)
eureka서버에 registry의 정보를 가져올 지 여부

management.health.status.order=DOWN, UP

심각도에 따른 순서
기본으로 up, down, out-of-service, unknown
custom으로 추가 해줄 수 있음

management.health.status.order=DOWN, MAINTENANCE, UP

custom으로 등록한 예시

management.endpoint.jolokia.enabled=true  
management.endpoint.metrics.enabled=true  
management.endpoint.pause.enabled=true  
management.endpoint.resume.enabled=true  
management.endpoint.restart.enabled=true  
management.endpoint.shutdown.enabled=true

end point에 관련된 설정

management.endpoints.web.exposure.include=*

endpoint의 값을 어디까지 보여 줄 것인가(지금은 모든 값을 보여줌)

만난 문제들

eureka에 등록하는 client application.properties에 eureka.instance.hostname={서버 IP주소} or {지정할 이름}이 있어야함
경우1
수동으로 eureka.instance.hostname해주지 않고 applicaiotn.properties에 eureka.instance.prefer-ip-address =true해주면 eureka에 자동으로 server ip 주소로 등록이 됨
- 하지만 docker로 ci/cd구축 시 외부 server 주소가 아닌 docker 내부의 주소가 할당이 됨
- 그러면 배포 단계에서 gateway와 resource가 서로 연동이 안됨
  경우2
그래서 application.properties에 eureka.instance.hostname를 지정
지정을 해줘도 배포단계에서 서로 연동이 안됨
이유가 eureka.instance.prefer-ip-address =true가 설정 값에 있으면 hostname을 지정을 해줘도 무시를 하는 경우가 생김
그래서 docker 내부 주소로 할당이 됨
해결
기존 application.properties에 설정 되어있는 eureka.instance.prefer-ip-address=true설정 값을 제거 한 후 application-prod1.properties, application-prod2.properties에 eureka.instance.hostname={각 서버의 플로팅 주소}를 입력

My-Books-projects / etc

Service Discovery 구축 #111

Resource 무중단 배포

Front 무중단배포

Load Balancer

장점

요청 과정

무 중단 배포 과정

`resourse2` 서버를 먼저 배포

`resourse1` 배포

환경 설정

Eureka Server

`Eureka Server`인스턴스 등록

`java` 설정

pom.xml

`EurekaApplication`

`SecurityConfig`

`application.properties`

`application-prod.properties`

Gateway

`java`설정

pom.xml

`GatewayApplication`

`GatewayConfig`

`application.properties`

`Resource` 서버

`instance server startup.sh`

유레카 서버에 resource 서버의 health 상태를 down으로 요청

`ResourceApplication`

`maven.yml`

`ApplicationStatusController`

`ApplicationStatus`

`CustomHealthIndicator`

Properties

만난 문제들

경우1

경우2

해결

My-Books-projects / etc

Service Discovery 구축 #111

Resource 무중단 배포

Front 무중단배포

Load Balancer

장점

요청 과정

무 중단 배포 과정

resourse2 서버를 먼저 배포

resourse1 배포

환경 설정

Eureka Server

Eureka Server인스턴스 등록

java 설정

pom.xml

EurekaApplication

SecurityConfig

application.properties

application-prod.properties

Gateway

java설정

pom.xml

GatewayApplication

GatewayConfig

application.properties

Resource 서버

instance server startup.sh

유레카 서버에 resource 서버의 health 상태를 down으로 요청

ResourceApplication

maven.yml

ApplicationStatusController

ApplicationStatus

CustomHealthIndicator

Properties

만난 문제들

경우1

경우2

해결

`resourse2` 서버를 먼저 배포

`resourse1` 배포

`Eureka Server`인스턴스 등록

`java` 설정

`EurekaApplication`

`SecurityConfig`

`application.properties`

`application-prod.properties`

`java`설정

`GatewayApplication`

`GatewayConfig`

`application.properties`

`Resource` 서버

`instance server startup.sh`

`ResourceApplication`

`maven.yml`

`ApplicationStatusController`

`ApplicationStatus`

`CustomHealthIndicator`