paust-team / paust-db

GNU General Public License v3.0
6 stars 5 forks source link

Add feature of sending all files in a specific directory for client #52

Closed dragon0170 closed 5 years ago

dragon0170 commented 5 years ago

Reference https://github.com/paust-team/paust-db/issues/25#issuecomment-447734748

dragon0170 commented 5 years ago

기존에 client에서 파일명을 -f, --file 플래그를 통해 받은 것처럼 디렉토리의 경우 -d, --directory 플래그를 통해 받을 예정입니다.

dragon0170 commented 5 years ago

특정 디렉토리 내에 있는 파일 중 .json 의 file extension을 가진 파일만 write 하도록 하겠습니다.

dragon0170 commented 5 years ago

Working branch

dragon0170 commented 5 years ago

@code-to-gold

  1. 특정 디렉토리를 write 할 때 해당 디렉토리 내의 subfolder들도 모두 recursive하게 스캔해서 파일들을 write 할까요? 아니면 해당 디렉토리의 파일만 write 할까요?
  2. 디렉토리 내의 파일에 대해 write가 성공했는지 실패했는지 아래와 같이 따로따로 출력하도록 했는데 괜찮을까요?
    ../test/write_directory/test1.json: write success.
    ../test/write_directory/test2.json: write success.
    ../test/write_directory/test3.json: write success.
code-to-gold commented 5 years ago
  1. 에 대해서 recursive하게 scan을 원하는경우 -r 옵션을 통해서 하게 하면 될꺼같고, 옵션을 주지 않았을 때는 해당 디렉토리의 파일만 write하는 방식으로 가면 좋을 것 같습니다.
  2. 코드에 따라 달라질 텐데요, 각각 파일에 대해 batch를 만들어 돌리는 거면 저게 맞을 것 같고, 전체에 대해서 batch를 돌리는 거면 전체에 대한 pass fail이 명확할 것 같습니다. 이건 출력 문제 보다는 fail처리 로직에 대한 문제로 보입니다. 출력은 그 로직에 맞게 구성하면 될 것 같아요.
dragon0170 commented 5 years ago
  1. 코드에 따라 달라질 텐데요, 각각 파일에 대해 batch를 만들어 돌리는 거면 저게 맞을 것 같고, 전체에 대해서 batch를 돌리는 거면 전체에 대한 pass fail이 명확할 것 같습니다. 이건 출력 문제 보다는 fail처리 로직에 대한 문제로 보입니다. 출력은 그 로직에 맞게 구성하면 될 것 같아요.

각 파일별로 tx이 나뉘어서 client에서 request가 보내지는 것이므로 지금 출력 방식대로 하면 될 것 같네요.