search

YutaroOgawa / pytorch_advanced

書籍「つくりながら学ぶ! PyTorchによる発展ディープラーニング」の実装コードを配置したリポジトリです
MIT License
837 stars 336 forks source link

第2章　手元環境操作時でのVOCデータセットの取り扱いについて #183

Closed peroperoyuki closed 2 years ago

peroperoyuki commented 3 years ago

Ogawa 様 はじめまして、書籍で楽しくPytorchを学習させていただいております。 現在、2章の物体検出を取り組んでいるのですが、VOCデータセットを活用して手元C環境でのAnaconda上で書籍のコードをいろいろといじりたい場合、データセットはどのように準備すればよろしいでしょうか？ AWS上に立ち上げたAnacondaのjupyter notebook上ではmake_folders_and_data_downloads.pyを実行することで、 コードをいろいろといじくれるのですが、それだと学習中にも料金が発生してしまうので、できれば手元環境でコードをいじって勉強したいと思っています。 お忙しいところ恐れ入りますが、ご確認のほど何卒よろしくお願いいたします。

YutaroOgawa commented 3 years ago

@peroperoyuki さま

本書をご活用いただき、ありがとうございます。

step by stepに記述するのは負荷が高すぎるので、以下、ポイントにて失礼いたします。

色々やり方はありますが、私的に簡単だと思う方法は

[1] Google Driveを各種ファイルを置く場所にします ※面倒なので、一度ローカル環境にファイルを全部そろえてからGoogle Driveにアップロードするのが手間は少ないです。 時間はかかりますが。。。

[2] Google ColaboratoryでGoogle Driveをmountし、Google Driveのフォルダをさもローカルのフォルダのように使用しましょう

「ColaboratoryでのGoogle Driveへのマウントが簡単になっていたお話」 https://qiita.com/kado_u/items/45b76f9a6f920bf0f786

[3] Driveをマウントした際に、ファイルパスなどが本書と同様になっているかに気をつけましょう。

!pwd

をGoogle Colabで入力して実行すると、カレントディレクトリ（今いるフォルダの情報）が表示されます。

現在のフォルダ内のファイル一覧を見たい場合はセルに

!ls

を入力して実行します。

ぜひ、試してみてください。

以上、簡単で申し訳ございませんが、どうぞよろしくお願い致します。

peroperoyuki commented 3 years ago

さっそくご返信ありがとうございます。 承知いたしました。Google Driveにアップロードし、Google Colab上でコードを実行してみます。 よろしくお願いいたします。

peroperoyuki commented 2 years ago

Google Driiveをマウントした状態で、Colab上で「make_folders_and_data_downloads.py」をdirを変更して実行した結果、15分くらいでフォルダ環境を作ることができました！！ ありがとうございました。

YutaroOgawa commented 2 years ago

@peroperoyuki さま

早速ありがとうございます。

素晴らしいですね。

Google Colabは途中でGPU計算が止まることがあるので、その点今後注意されると良いかと思います。

※以下記事が最新情報か分かりませんが、参考まで https://kenko-keep.com/12hour-90minit/

数イタレーションごとに、モデルを保存するのが安全かと思います。

どうぞよろしくお願い致します。