GNU parallel 이용하기

[nowol79]

[고민사항]

• 만개 이상의 파일이 있고 이를 rsync로 전달해야 하는데.. 1분 정도 걸림
• 특정 개수만큼 지정해서 동시에 여려개의 파일을 rsync하고 싶음
• 동작에 대한 job control를 장비 상황에 따라 조절가능 하길 바람 (장비를 여러사람이 쓰다보니.. 다른 사람 피해 안 가도록.. 로드 조절이 가능했음 함)

찾다가 GNU parallel 발견

일단 원하는 job를 command.list로 뽑고 이를 parallel로 job 설정을 해서 돌림

• command.list

  rsync -av aaa00 host@bbb00
  rsync -av aaa01 host@bbb01
  rsync -av aaa02 host@bbb02
   :

이렇게 만개 이상의 파일을 remote 로 전달하는데 한 번 rsync 하는데 1분 정도 소요됨..

이를 무작정 process를 여러개 만들자니 귀찮고..

아래와 같이 parallel를 활용해 해결

$ cat command.list | parallel --eta --jobs 10 --load 60% --noswap '{}'

--eta : estimated time remaining to run all jobs. --jobs : The number of commands to run at the same time --load 80% : The maximum CPU load at which new jobs will not be started. --noswap: New jobs won't be started if there is both swap-in and swap-out activity.

[결론] 반복적인 작업을 멀티로 안전하게 진행하고 싶은 경우 사용하면 좋을 듯!