ddackkeun
commented
1 year ago 답변
상태가 없는 연산
현재 순회 중인 요소를 처리하는 동안 이전에 처리된 데이터 요소의 상태를 유지하지 않는 연산
- 각 요소의 처리는 다른 요소와 독립되어 수행 ⇒ 성능상의 이점
- 상태가 없는 중간 연산으로만 이뤄진 파이프 라인의 경우 데이터 요소에 한 번만 접근
- filter, map, takeWhile 등 연산이 있다.
상태가 있는 연산
현재 순회 중인 요소를 처리하는 동안 이전에 처리된 데이터 요소의 상태를 활용하는 연산
-
특징
- 각 연산의 특징에 따라 필요로 하는 요소를 내부 상태로 저장
- 병렬 처리 환경에서 상태를 가진 연산을 포함하는 파이프라인은 같은 요소를 여러 번 접근하거나 주요 데이터를 별도로 관리 해야 할 수 있다.
- 관리되어야 하는 상태의 크기에 따라 bound, unbound로 분류
- sorted, distinct, reduce, skip, limit 등 연산이 있다.
-
한정된 상태가 있는 연산(Bound)
요소의 개수와 상관없이, 수행되기 위해 관리되어야 하는 상태의 크기가 한정되는 연산
- 예시
- min 연산은 여태 작업을 통해 가장 작은 요소를 상태로 가지고 있음
- limit 은 현재까지 순회한 데이터 요소 개수 만큼 상태로 가지고 있음
- reduce는 현재까지 순회한 데이터 결과를 상태로 가지고 있음
-
한정되지 않은 상태가 있는 연산(Unbound)
스트림 내의 요소에 따라 관리되어야 하는 상태의 크기가 변하는 연산
- 스트림의 모든 요소를 버퍼에 가지고 있어야 연산 가능 ⇒ 데이터 크기가 무한인 상태(무한스트림)에서 문제를 일으킬 수 있음
- 예시
- sorted 연산은 정렬을 하기 위해 모든 요소를 상태로 가지고 있어야 함
- distinct 연산은 이전에 순회한 데이터와 중복되는지 확인을 위해 순회한 데이터 목록을 가지고 있어야 함
상태있는 연산과 병렬 처리의 연관성
- 병렬 처리 특징
- 병렬 처리이기 때문에 순서를 보장하지 않음
- parallel()은 공유된 스레드 풀을 사용 ⇒ 심각한 성능 장애를 일으킬 수 있음
- 분할과 병합의 과정에서 발생하는 오버헤드가 존재
- 병렬 처리 환경에서 상태를 가진 연산을 포함하는 파이프라인은 같은 요소를 여러 번 접근하거나 주요 데이터를 별도로 관리(버퍼링) 해야 할 수 있다.
결론- 상태가 있는 연산은 병렬 처리 시 수행 성능의 영향을 줄 수 있다.
- 병렬 처리는 독립적인 연산 작업을 할 때 사용하는 것이 좋으며 성능 최적화, 장애 여부를 충분히 검증하여 적용해야 한다.
문제
해당 장을 학습하면서 연산과 관련하여 상태가 있는 연산과 상태가 없는 연산에 대해 설명하는 부분이 많았다. 이러한 연산의 상태는 추후 7장에서 다룰 병렬 처리와 연관될 것으로 보인다. 그렇다면 상태가 있음과 없음은 병렬 처리에서 어떤 연관성이 있을까?
관련 목차
참고자료