search

Tama4649 / etc

いろいろなものを置いておきます。
4 stars 0 forks source link

HalfKPE9等のlearnコマンドABENDについて #1

Open tttak opened 4 years ago

tttak commented 4 years ago

こんばんは。WCSOC2020、楽しく拝見させて頂きました！ このリポジトリのIssueではないのですが、Twitterをやっていないのでgithubの方ですいません。 HalfKPE9等のlearnコマンドがABENDする旨、Twitterで拝見しまして、 もしプログラムの方に問題があるようでしたら修正したいと考えております。 io_log.txtにはどのあたりまで出力されておりますでしょうか？

自分の方でも https://github.com/tttak/YaneuraOu から「Download ZIP」でソースをダウンロードして ビルドし直してlearnコマンド（棋譜生成ではなく学習の方）を実行してみたのですが、特に問題なく動いているように見えます。 自分の環境はmsys2でg++9.3.0です。 msys2でclang++9.0.1でも同様に試してみましたが、特に問題なさそうでした。

Tama4649 commented 4 years ago

おぉ！ご本人から返信、ありがとうございます！

今やっているのは、git clone -b NNUE-featuresでブランチをクローンしたものを使っております。 もしかして、ソースをZIPでDLしたものとブランチをクローンしたものとでは構成が違いますか？ ちょっとソースをDLしてやってみます。

ioログのほうは、これから確認します。。。

2020年5月7日(木) 1:18 t notifications@github.com:

こんばんは。WCSOC2020、楽しく拝見させて頂きました！ このリポジトリのIssueではないのですが、Twitterをやっていないのでgithubの方ですいません。 HalfKPE9等のlearnコマンドがABENDする旨、Twitterで拝見しまして、 もしプログラムの方に問題があるようでしたら修正したいと考えております。 io_log.txtにはどのあたりまで出力されておりますでしょうか？

自分の方でも https://github.com/tttak/YaneuraOu から「Download ZIP」でソースをダウンロードして ビルドし直してlearnコマンド（棋譜生成ではなく学習の方）を実行してみたのですが、特に問題なく動いているように見えます。 自分の環境はmsys2でg++9.3.0です。 msys2でclang++9.0.1でも同様に試してみましたが、特に問題なさそうでした。

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub https://github.com/Tama4649/etc/issues/1, or unsubscribe https://github.com/notifications/unsubscribe-auth/AHJGSDSA5ERVRMBJ4RIOBMLRQGETPANCNFSM4M2SUGYQ .

Tama4649 commented 4 years ago

たまです。いつもお世話になっております。 追記です。

まず、HalfKPE9のほうはソースのZIPが動いていますので問題ありませんでした。

私がやろうとしているのは先のメールにあるとおり、HalfKPE4やその他のNN構成を学習したかったので、gitのブランチのほうを利用したという経緯があります。 また、HalfKP-KingSafety Distinguish GoldsのリリースのソースZIPも同様にセグフォでコケてしまいました。

私の環境は以下になります。 ・Linux Ubuntu18.04 clang++11.0.0 g++7.5.0 ・WSL Ubuntu18.04 clang++11.0.0 g++7.5.0 ・msys2 clang++10.0.0 g++9.3.0

上記の環境いずれもセグフォで異常終了します。

io_log.txtは以下のとおりです。これはHalfKP-KingSafety Distinguish GoldsのリリースのソースZIPを展開したものをビルドしたものを実行した結果です。

<< start logger << Options[Threads] = 10 << Options[USI_Hash] = 4096 << Options[EvalDir] = eval << Options[EvalSaveDir] = work << Options[BookFile] = no_book << learn command , learn from ../sfens_bak/Krii1212.bin , << base dir : << target dir : << loop : 1 << eval_limit : 32000 << save_only_once : false << no_shuffle : false << Loss Function : ELMO_METHOD(WCSC27) << mini-batch size : 10000000 << nn_batch_size : 1000 << nn_options : << learning rate : 0.05 , 0 , 0 << eta_epoch : 0 , 0 << scheduling : default << discount rate : 0 << reduction_gameply : 1 << LAMBDA : 0.33 << LAMBDA2 : 0.33 << LAMBDA_LIMIT : 32000 << mirror_percentage : 0 << eval_save_interval : 50000000 sfens << loss_output_interval: 10000000 sfens << init.. << info string eHash Clear begin , Hash size = 1024[MB] << info string eHash Clear done. << info string EvalDirectory = ./eval << info string loading eval file : eval/nn.bin << info string Hash Clear begin , Hash size = 4096[MB] << << info string Hash Clear done. << init_training.. << Initializing NN training for Features=HalfKP(Friend)+KingSafety_DistinguishGolds(Friend)[190548->256x2],Network=AffineTransform1<-32)))) << init done. << open filename = ../sfens_bak/Krii1212.bin << info string Hash Clear begin , Hash size = 4096[MB] << info string Hash Clear done.

ここまでは動いていて、普通に学習していくのですが、ログに学習結果を出力するタイミングで異常終了しているように見えます。

今わかっていることは、このぐらいです。。。

以上、よろしくお願いいたします。

2020年5月7日(木) 1:18 t notifications@github.com:

こんばんは。WCSOC2020、楽しく拝見させて頂きました！ このリポジトリのIssueではないのですが、Twitterをやっていないのでgithubの方ですいません。 HalfKPE9等のlearnコマンドがABENDする旨、Twitterで拝見しまして、 もしプログラムの方に問題があるようでしたら修正したいと考えております。 io_log.txtにはどのあたりまで出力されておりますでしょうか？

自分の方でも https://github.com/tttak/YaneuraOu から「Download ZIP」でソースをダウンロードして ビルドし直してlearnコマンド（棋譜生成ではなく学習の方）を実行してみたのですが、特に問題なく動いているように見えます。 自分の環境はmsys2でg++9.3.0です。 msys2でclang++9.0.1でも同様に試してみましたが、特に問題なさそうでした。

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub https://github.com/Tama4649/etc/issues/1, or unsubscribe https://github.com/notifications/unsubscribe-auth/AHJGSDSA5ERVRMBJ4RIOBMLRQGETPANCNFSM4M2SUGYQ .

tttak commented 4 years ago

情報ありがとうございます。

もしかして、ソースをZIPでDLしたものとブランチをクローンしたものとでは構成が違いますか？

特に変わらないと思います。

https://github.com/tttak/YaneuraOu/releases/tag/V4.89_NNUE-features_20200406 に私の方でビルドしたファイルをアップロードしましたので、 一度こちらの方で試してみて頂いてもよろしいでしょうか？ （ファイル名：learn_YaneuraOuV489_NNUE-HalfKP-KingSafety_DistinguishGolds.zip）

上記URLから改めてソースをダウンロードして、 MakefileのCOMPILERのところをclang++からg++へ変更しましたがその他は変更せず、 msys2上で「make evallearn」でビルドしたものです。

Tama4649 commented 4 years ago

たまです。

ご指定の実行バイナリでもやはりセグフォで異常終了してしまいました。 こちらでビルドしたものとちょっと動作が違いまして、異常終了するのは同じなのですが、一瞬ブラックアウトして、なぜかネットワークが切断されてどこにも繋がらなくなるという現象が起きました。

なんか環境依存の問題な気がしてきました。Windows Updateでどんどん変になっていってますし。orz

2020年5月7日(木) 14:00 t notifications@github.com:

情報ありがとうございます。

もしかして、ソースをZIPでDLしたものとブランチをクローンしたものとでは構成が違いますか？

特に変わらないと思います。

https://github.com/tttak/YaneuraOu/releases/tag/V4.89_NNUE-features_20200406 に私の方でビルドしたファイルをアップロードしましたので、 一度こちらの方で試してみて頂いてもよろしいでしょうか？ （ファイル名：learn_YaneuraOuV489_NNUE-HalfKP-KingSafety_DistinguishGolds.zip）

上記URLから改めてソースをダウンロードして、 MakefileのCOMPILERのところをclang++からg++へ変更しましたがその他は変更せず、 msys2上で「make evallearn」でビルドしたものです。

— You are receiving this because you commented. Reply to this email directly, view it on GitHub https://github.com/Tama4649/etc/issues/1#issuecomment-625030015, or unsubscribe https://github.com/notifications/unsubscribe-auth/AHJGSDS5KDUXRMJA2DOSF7TRQI56VANCNFSM4M2SUGYQ .

Tama4649 commented 4 years ago

たまです。お疲れ様です。

その後の状況をお知らせします。 結論から言うと、gitのブランチからでも学習ができました。 ただし、batchsizeを10000000、nn_batch_sizeを1000に指定すると異常終了します。 これをそれぞれ1000000、100とかにすれば正常に動きます。

以前にアップされていたHKPE9のソースは10000000でも正常に動作していることから、いろいろ評価関数を追加した際に、このあたりの変数の型か値が変わってしまったのではないかと推測しています。

以上、よろしくお願いします。

2020年5月7日(木) 15:29 たま tama4649@gmail.com:

たまです。

ご指定の実行バイナリでもやはりセグフォで異常終了してしまいました。

こちらでビルドしたものとちょっと動作が違いまして、異常終了するのは同じなのですが、一瞬ブラックアウトして、なぜかネットワークが切断されてどこにも繋がらなくなるという現象が起きました。

なんか環境依存の問題な気がしてきました。Windows Updateでどんどん変になっていってますし。orz

2020年5月7日(木) 14:00 t notifications@github.com:

情報ありがとうございます。

もしかして、ソースをZIPでDLしたものとブランチをクローンしたものとでは構成が違いますか？

特に変わらないと思います。

https://github.com/tttak/YaneuraOu/releases/tag/V4.89_NNUE-features_20200406 に私の方でビルドしたファイルをアップロードしましたので、 一度こちらの方で試してみて頂いてもよろしいでしょうか？ （ファイル名：learn_YaneuraOuV489_NNUE-HalfKP-KingSafety_DistinguishGolds.zip）

上記URLから改めてソースをダウンロードして、 MakefileのCOMPILERのところをclang++からg++へ変更しましたがその他は変更せず、 msys2上で「make evallearn」でビルドしたものです。

— You are receiving this because you commented. Reply to this email directly, view it on GitHub https://github.com/Tama4649/etc/issues/1#issuecomment-625030015, or unsubscribe https://github.com/notifications/unsubscribe-auth/AHJGSDS5KDUXRMJA2DOSF7TRQI56VANCNFSM4M2SUGYQ .

tttak commented 4 years ago

ご検証頂きましてありがとうございます。 私の方でも先ほどのHKPKSDGの実行ファイルを使って「batchsizeを10000000、nn_batch_sizeを1000」で試してみましたが、異常終了しませんでした... HKPE9とHKPKSDGのソースを比較してみましたが、今のところ怪しい箇所は見つけられておりません。 もう少し調べてみます。