Open ismukhin opened 1 year ago
@ismukhin изначально смысл этих логов в том, чтобы заменить парсинг stdout для получения метрик производительности на вычитывание их из файла в объект. Формат файла совпадает с аналогичным форматов для c++ ланчеров. Остальные параметры в отчете получаются напрямую из конфигурации, вероятность ошибки при добавлении их в отчет гораздо меньше, чем при распарсивании текста. Можно внести эти параметры в json report для python и c++ ланчеров, и тогда можно будет отказаться от csv отчета вовсе.
@ismukhin изначально смысл этих логов в том, чтобы заменить парсинг stdout для получения метрик производительности на вычитывание их из файла в объект. Формат файла совпадает с аналогичным форматов для c++ ланчеров. Остальные параметры в отчете получаются напрямую из конфигурации, вероятность ошибки при добавлении их в отчет гораздо меньше, чем при распарсивании текста. Можно внести эти параметры в json report для python и c++ ланчеров, и тогда можно будет отказаться от csv отчета вовсе.
@n-berezina-nn, дело в том, что в эти логи ничего, кроме метрик производительности не записывается, даже название модели, поэтому это выглядит очень странно и подозрительно.
эти логи изначально призваны сделать получение результата более стабильным, нежели парсинг stdout, особенно в случае добавления новых метрик, как это произошло летом. Формат вдохновлен аналогичными логами от openvino benchmark app и отчетами от остальных наших c++ ланчеров. если его менять, то менять везде. это только перфоманс метрики, а не характеристики всего запуска
эти логи изначально призваны сделать получение результата более стабильным, нежели парсинг stdout, особенно в случае добавления новых метрик, как это произошло летом. Формат вдохновлен аналогичными логами от openvino benchmark app и отчетами от остальных наших c++ ланчеров. если его менять, то менять везде. это только перфоманс метрики, а не характеристики всего запуска
Согласно, что это гораздо лучше, чем парсинг stdout, но не понятно, зачем создавать пустые теги в этом отчете? По смыслу они должны давать полную информацию про тестовый запуск.
@n-berezina-nn, добрый день! После запуска бенчмарка выбрасываются полупустые логи. Командная строка:
python3 ./inference_benchmark.py -c ../config.xml -r result_onnx.csv
Конфиг:Логи:
Нет довольно много информации (например, не записывается имя модели, формат весов, размеры тензора и параметры командной строки при запуске скрипта инференса). Та же самая ситуация при запуске MXNet (остальные не смотрел, но, вероятно, будет тоже самое)