ratsgo
commented
2 years ago 안녕하세요, 본서에서 사용한 코드 및 BERT 원본 코드 모두 싱글/멀티 GPU에서도 동작합니다. 해당 코드는 모두 텐서플로로 작성돼 있는데요, 텐서플로에서 GPU 가속 기능을 사용할 수 있도록 설정을 해야할 것 같습니다. 텐서플로 GPU 가속 기능 사용법에 대해서는 인터넷에 많은 문서가 있습니다만 우선 공식 문서를 둘러보시는 것을 추천해드립니다.
한편 구글 코랩(colab) 환경이 요즘 사용하기 정말 편리한데요. 해당 환경에서는 TPU를 지원합니다. 이와 관련해 버트를 TPU로 학습한 경험을 정리한 블로그 글이 있어 참고차 공유드립니다. 도움이 되셨으면 좋겠습니다.
안녕하세요! 좋은 책을 써 주시고 코드 공유해주셔서 감사합니다!
책을 읽어보다가 궁금한 점이 생겨서 문의 드립니다.
5.6.4절(p235)에서 GPU를 8개 썼다고 나와 있는데요.
저도 여러 개의 gpu로 한국어 프리트레인 모델을 만들어보려고 하고 있습니다.
그런데 bert 원본 코드(https://github.com/google-research/bert) 및 이 레퍼지토리에 공개된 코드를 돌리면 cpu만 사용되는 것 같습니다.
BERT 학습 시 여러 대의 GPU를 활용하신 방법을 여쭤봐도 될까요?