When training IENet 2 my loss goes to NaN after one iteration. I tried lowering the learning rate but this did not change much. Here's the log of my loss:
2024-05-27 12:22:05,911 1 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2024-05-27 12:22:05,911 Saving model to savegames\pfd2cs_ie2-0.
2024-05-27 12:22:39,683 2 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2024-05-27 12:22:40,036 3 1.00 2.79 0.00 6.03 0.62 0.32 0.01 0.48 0.00 1.39 0.00 0.99 0.67 1.00 0.19 0.32 0.94 3.16 0.12 0.26 0.86 0.00 0.26 0.17 0.15 0.00 0.25 0.01 0.99 0.09 1001.44 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2024-05-27 12:23:01,982 4 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2024-05-27 12:23:08,020 5 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- 0.00 nan ---- ---- 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- 0.57 ---- 0.94 ---- 21.28 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2024-05-27 12:23:27,052 6 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2024-05-27 12:23:31,904 7 0.00 nan ---- ---- 0.00 nan 0.00 nan ---- ---- 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.76 ---- 0.51 0.25 ---- 0.02 0.00 0.01 0.00 0.13 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2024-05-27 12:23:52,018 8 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2024-05-27 12:23:56,825 9 0.00 nan ---- ---- ---- ---- ---- ---- 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 ---- ---- ---- 0.23 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
Does anybody have an idea what could be the culprit?
When training IENet 2 my loss goes to NaN after one iteration. I tried lowering the learning rate but this did not change much. Here's the log of my loss:
Does anybody have an idea what could be the culprit?