temporary data controlled with dvc[s3]

wisdomify / storyteller-deprecated

Forward dictionary of Korean Proverbs

2 stars 0 forks source link

temporary data controlled with dvc[s3] #20

Closed ArtemisDicoTiar closed 3 years ago

ArtemisDicoTiar commented 3 years ago

허깅페이스에 데이터셋을 릴리즈하는 게 아니라 중간에 피쳐 엔지니어링 중인 버전은 DVC로 컨트롤해야한다. 드랍박스가 될듯 말듯한 식으로 적혀있어서... 그냥 S3 써보자

ArtemisDicoTiar commented 3 years ago

오 쉽다 그냥 S3 bucket 생성하고 업로드하면 끝이네? dvc도 그냥 버킷 주소 입력하면 끝나려나본데?

ArtemisDicoTiar commented 3 years ago

리전을 자동으로 런던으로 잡는다... ㅠ config에서 직접 잡아줘야하나보다

ArtemisDicoTiar commented 3 years ago

Screenshot 2021-08-12 at 14 38 33

s3에 업로드 성공 IAM에서 유저 추가 + S3FullAccess권한 추가

ArtemisDicoTiar commented 3 years ago

문제 하나가 config에 access_key_id랑 secret_access_key를 추가해야되는데 이 정보는 아무리봐도 퍼블릭 리포에 올리면 안될거 같은데...

ArtemisDicoTiar commented 3 years ago

생각해보니깐 저 버킷에 있는 정보는 공개되어야하는 게 맞으니 리포에 올려야겠다? 아 아니네 credential 정보를 숨길 수 있네

ArtemisDicoTiar commented 3 years ago

그냥 홈 디렉토리에 aws 설정만 똑바로 하면 되나보다

pip install awscli
aws configure
// 시키는 대로 설정! (credential정보 물어보시면 알려드릴게요~)
// Default region name [None]:  ap-northeast-2
// Default output format [None]: json

ArtemisDicoTiar commented 3 years ago

비용 이슈만 해결하면 된다!