KK-Saito
commented
3 years ago お世話になっております。 以下，ご報告です。
キャッシュを作成し直して，ファインチューニングを行いました。 やはり30エポック目くらいから非常に時間がかかるようになってしまいましたので，33エポック目の途中で中断しましたが，テキストp.512 図14.10とほとんど同じ結果が得られました。
その後，再度キャッシュを作成し直し，最後の2層のファインチューニングを行いました。 ここでも31エポック目の途中で中断しました。 テキストよりサンプル数が少ないため，少し値が違いますが，p.513 図14.12とほぼ同様の結果となりました。
ここまで実行できればほぼ満足なのですが，その下のコマンド run('p2ch14.nodule_analysis.NoduleAnalysisApp', '--run-validation') を実行すると， FileNotFoundError: [Errno 2] No such file or directory: 'data/part2/models/seg_2020-01-26_19.45.12_w4d3c1-bal_1_nodupe-label_pos-d1_fn8-adam.best.state' というエラーが出ました。 当然，このファイルが無いため実行できないのですが，コマンドラインではファイル名の指定ができないようです。 （ここでは，何をしようとしているのでしょうか？）
また，p.518 図14.15のROC曲線は出力したいと思うのですが，training.pyにリスト14.12を追加すれば可能でしょうか？
他にも p2ch13_explore_data.ipynb や p2ch13_explore_diagnose.ipynb というファイルがありますので，それらも実行してみたいと思います。
お世話になっております。 修正していただいたファイルを用いたところ，subset0～2のデータを使用してp2_run_everything.ipynbのChapter 14の部分も実行できました。 ありがとうございました。
以下，いくつか気になった点をご報告します。 subset0～2のデータを使うと，Colab Proで実行中のディスク残量が27GB程度になってしまいます。 run('p2ch14.training.ClassificationTrainingApp', f'--epochs=100', 'nodule-nonnodule') で100エポック実行していくと，最初は1エポックあたり4分程度なのですが，その後，実行を続けていくと，だんだんディスク残量が増えていき，1エポックに1時間程度かかるようになってしまいました。 どうやら，せっかく作成したキャッシュを消してしまっているようです。 そこで，37エポック目の途中で実行を中断しました。（これでも9時間程度かかりました。） いちおうここまでのTensorBoardの出力も確認できました。
その後，model名を書き換えて最後の層のファインチューニングも実行できました。 ただし，やはり1エポックに1時間程度かかってしまいましたので，3エポック目の途中で中断しました。
プログラムを実行できることが確認できましたので，もう少しいろいろ試してみたいと思います。