Locust 를 이용하여 구축된 이미지 업로드 & 임베딩 시스템 성능 평가하기

[Hyeonjha]

Jul 7

Original comment by JihoonPark93

Locust 를 이용하여 구축된 이미지 업로드 & 임베딩 시스템 성능 평가하기

[Hyeonjha]

Jul 8

• embedding worker 폴더 하나로 줄이고 docker-compose.yml 수정
• locust 사용해 성능 테스트 (README.md)
  1. upload test (15390개 저장 결과)

     Issue9/report_1720414191.2980642.html

2. similar search test (15390개 저장된 상태에서 검색)

   Issue9/report_1720415120.7182093.html

3. similar search test (324개 저장된 상태에서 검색)

   Issue9/report_1720416762.3693528.html

4. 여러 client가 동시에 수십 수백장을 업로드 요청 테스트

   Issue9/report_1720419701.0492265.html

5. 이미지 사이즈 1000 * 1000

   Issue9/report_1720423062.9218946.html

5-1. 이미지 사이즈 1000 * 1000 + 한번에 수십, 수백장 업로드

Issue9/report_1720423847.8205981.html

6. 이미지 사이즈 3000 * 3000 + 한번에 수십, 수백장 업로드

   Issue9/report_1720424721.9816885.html

[Hyeonjha]

Jul 9

Original comment by JihoonPark93

오늘 말씀드린대로 similarity search 를 이미지 크기를 키워서(100->1000->3000) 테스트 했을 때도 요청이 쌓이지 않고 1초 내의 응답속도로 처리될 수 있도록 개선해보고, 어떤 작업 했는지, 어떻게 개선됐는지를 정리하는 것으로 issue 마무리 하면 될 것 같습니다! 화이팅

[Hyeonjha]

Jul 11

embedding issue 결과에서 ResNet이 convNeXt와 성능이 비슷하면서 속도는 훨씬 빨라서 이 모델들로 테스트 진행했습니다 (ConvNeXt도 다시 돌려봤어요!)

Model: ConvNeXt

Processing Time per Image: 0.2438856703894479 seconds

Model: ResNet18

Processing Time per Image: 0.04968958896595043 seconds

Model: ResNet50

Processing Time per Image: 0.10675284626719715 seconds

ConvNeXt: 62.67%
ResNet18: 61.11%
ResNet50: 61.63%

이미지 사이즈 100*100

ConvNeXt search 결과

ResNet18 search 결과

ResNet50 search 결과

이미지 사이즈 1000*1000

ConvNeXt search 결과

ResNet18 search 결과

ResNet50 search 결과

이미지 사이즈 3000*3000

ConvNeXt search 결과

ResNet18 search 결과

ResNet50 search 결과

ResNet18에서 확실히 속도가 많이 개선되었어요! 다른 모델들도 조금 더 테스트 해보는게 좋을까요!?

[Hyeonjha]

Jul 12

지훈님 오늘 한 코드들 올려놓긴 했는데 월요일에 추가 수정하면서 더 진행해야 할 것 같아요..! db에 데이터 10만개 업로드하는 과정에서 간단하게 search test만 하려고 예전처럼 따로 코드 작성하여 weaviate에만 벡터 업로드 시도했는데 7000~8000개쯤 업로드할때 계속 커넥션 에러가 뜨더라구요. 그래서 그냥 Locust 사용해서 업로드 진행했고 이건 10만개 업로드하는데 거의 2시간 가까이 걸렸어요..! 그리고 벡터 검색 테스트할때 docker log에선 검색이 되고 있는걸 확인했는데 locust ui에선 아무것도 안 떠서 이 부분도 월요일에 이어서 해결하고 테스트 결과 정리하도록 하겠습니다!