Chapter4. HTTP Client - 과부화 서버, Custom timout, redirect

[robert-min]

과부화 상태의 서버에서 다운로드 예시

• 항상 과부화되어 모든 응답에 60초 지연시간이 생기는 테스트 HTTP 서버
• 다운로드하는데 60초의 시간이 소요되어 사용자 경험에 문제

[robert-min]

기본 설정 다운로드 코드

• 지연시간 발생

func fetchRemoteResource(url string) ([]byte, error) { r, err := http.Get(url) if err != nil { return nil, err } defer r.Body.Close() return io.ReadAll(r.Body) }

func main() { if len(os.Args) != 2 { fmt.Fprintf(os.Stdout, "Must specify a HTTP URL to get data from") os.Exit(1) } body, err := fetchRemoteResource(os.Args[1]) if err != nil { fmt.Fprintf(os.Stdout, "%v\n", err) os.Exit(1) } fmt.Fprintf(os.Stdout, "%s\n", body) }

[robert-min]

60초 지연 테스트 코드

func startBadTestHTTPServer() *httptest.Server {
    ts := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
        // delay 60 seconds befor sending response to client
        time.Sleep(60 * time.Second)
        fmt.Fprint(w, "Hello World")
    }))
    return ts
}

func TestFetchBadRemoteResource(t *testing.T) {
    ts := startBadTestHTTPServer()
    defer ts.Close()

    data, err := fetchRemoteResource(ts.URL)
    if err != nil {
        t.Fatal(err)
    }
    expected := "Hello World"
    got := string(data)

    if expected != got {
        t.Errorf("Expected response to be: %s, Got: %s", expected, got)
    }
}

[robert-min]

Custom timeout 코드

• createHTTPClientWithTimeout 함수로 client의 Timeout 설정
• 위의 코드 fetchRemoteResource에서 http로 GET 함수를 사용했던 것을 생성한 client로 GET 함수 사용하도록 수정

func fetchRemoteResource(client *http.Client, url string) ([]byte, error) {
    r, err := client.Get(url)
    if err != nil {
        return nil, err
    }
    defer r.Body.Close()
    return io.ReadAll(r.Body)
}

func createHTTPClientWithTimeout(d time.Duration) *http.Client {
    client := http.Client{Timeout: d}
    return &client
}

func main() {
    if len(os.Args) != 2 {
        fmt.Fprintf(os.Stdout, "Must specify a HTTP URL to get data from")
        os.Exit(1)
    }
    // set client timeout
    client := createHTTPClientWithTimeout(15 * time.Second)

    body, err := fetchRemoteResource(client, os.Args[1])
    if err != nil {
        fmt.Fprintf(os.Stdout, "%#v\n", err)
        os.Exit(1)
    }
    fmt.Fprintf(os.Stdout, "%s\n", body)
}

[robert-min]

Custom time out test 코드

• 기존의 나쁜 핸들러는 60초 뒤에 응답하기 때문에 그동안 블로킹 되어 서버가 정상적으로 종료되지 않는데 현재 수정된 코드에서 어떻게 동작하는지 확인
• 테스트를 위해 shutdownServer라는 버퍼 없는 채널을 생성하고 해당 핸들러에서 매개변수로 전달
• 테스트 서버 핸들러 내부에서 핸들러가 실행될 때 무한하게 블로킹 되도록 설정
• 테스트 시 기존에 설정한 timeout 설정값 만큼만 수행되고 종료됨을 확인

func startBadTestHTTPServerV2(shutdownServer chan struct{}) *httptest.Server {
    ts := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
        <-shutdownServer
        fmt.Fprint(w, "Hello World")
    }))
    return ts
}

func TestFetchBadRemoteResourceV2(t *testing.T) {
    shutdownServer := make(chan struct{})
    ts := startBadTestHTTPServerV2(shutdownServer)
    defer ts.Close()
    defer func() {
        shutdownServer <- struct{}{}
    }()

    client := createHTTPClientWithTimeout(200 * time.Millisecond)
    _, err := fetchRemoteResource(client, ts.URL)
    if err == nil {
        t.Fatal("Expected non-nil error")
    }

    if !strings.Contains(err.Error(), "Client.Timeout exceeded while awaiting headers") {
        t.Fatalf("Expected error to contain: Client.Timeout exceeded while awaiting headers, Got: %v", err.Error())
    }
}

[robert-min]

Redirect 동작 설정

• 일반적으로 서버에서 HTTP 리다이렉트 응답할 경우 HTTP 클라이언트는 자동으로 최대 10회까지 리다이렉트를 따라가고, 이후에 응답을 처리하지 않고 종료
• 이러한 기본 동작을 변경하여 리다이렉트를 무시하거나, 현재 리다이렉트 중이라는 사실을 알려기 위해 코드 수정
• http.Client 객체의 CheckRedirect 필드 설정

func redirectPolicyFunc(req *http.Request, via []*http.Request) error {
    if len(via) >= 1 {
        return errors.New(fmt.Sprintf("Attempted redirect to %s", req.URL))
    }
    return nil
}

func createHTTPClientWithTimeout(d time.Duration) *http.Client {
    client := http.Client{
        Timeout:       d,
        CheckRedirect: redirectPolicyFunc,
    }
    return &client
}