INTERNAL: make lop piped operations process synchronously - Githubissues

naver / arcus-java-client

ARCUS Java client

Apache License 2.0

50 stars 46 forks source link

INTERNAL: make lop piped operations process synchronously #795

Open oliviarla opened 1 month ago

oliviarla commented 1 month ago

🔗 Related Issue

https://github.com/jam2in/arcus-works/issues/540

⌨️ What I did

500개 아이템 단위로 Operation 객체를 나누어 비동기로 요청을 보내던 것을 동기 방식으로 보내어 Arcus 서버에 과도한 부하가 들어가는 것을 방지하고, 실패 시 다음 Operation을 수행하지 않도록 합니다.
- 만약 CLIENT_ERROR, SERVER_ERROR 실패가 발생하면 그 즉시 latch.countdown을 호출해 더이상 로직을 수행하지 않습니다.
- OVERFLOWED, OUT_OF_RANGE 같은 실패가 발생하면 이후의 item에 대해 CANCELLED 오류를 반환하도록 합니다.
기존에 asyncLopPipedInsert에서 입력받은 valueList 순서대로 저장하지 않는 문제가 있었고 이를 순서대로 저장하도록 변경했습니다.
시범적으로 Lop Piped Insert에만 적용합니다.
future를 통한 비동기 수행이 되기 때문에 메서드명은 그대로 두고자 합니다.

oliviarla commented 2 weeks ago

@jhpark816 리뷰 반영했습니다.

jhpark816 commented 1 week ago

@uhm0311 리뷰 바랍니다.