search

mtkresearch / MR-Models

聯發創新基地（MediaTek Research) 致力於研究基礎模型。我們將研究體現在適合繁體中文使用者的模型上，並在使用權許可的情況下，提供模型給學術界研究或產業界使用。
Other
155 stars 16 forks source link

Refactored inference scripts #5

Closed ftmtk closed 11 months ago

ftmtk commented 11 months ago
  1. inference.py at base level
  2. Added base.json: single example config for all the dataset
  3. refactored aggregator for logging data in inference routine
  4. Reformat TMMLU_{subject} to TMMLU/{subject}
GitYCC commented 11 months ago

請修改：單檔不落地，統一儲存在最終json中，因此也不需要output_dir

GitYCC commented 11 months ago

需考慮跑一半斷掉要接續的問題，目前如果段在單一任務仍然會消失先前紀錄

GitYCC commented 11 months ago

@ftmtk 參考afd914b1af1的interface將程式碼refactor

GitYCC commented 11 months ago

@ftmtk 中醫臨床醫學 和 商業道德 這兩個有在TMMLU新增，麻煩將三個模型重跑並新增response