RoboRate / TuningTitans

MIT License
0 stars 6 forks source link

modify: finetunePrapareData.py修正 #20

Closed SamanthaYu0611 closed 1 year ago

SamanthaYu0611 commented 1 year ago

1.新增函式fileTransferToPreparedData,可將jsonl格式的檔案,每個prompt都如OpenAI要求加入Suffix " ->",以及每個completion都加入Suffix "\n"。(等同執行OpenAI的CLI: openai tools fine_tunes.prepare_data -f 的相關要求) 2. 將函式validateJsonlFile改為uploadFile,因為此函式功能無法進行驗證,為上傳檔案到OpenAI後,取得file_id到OpenAI後,取得file_id

  1. 備註,單執行此py為取得upload的檔案是否已上傳完成的狀態。
  2. cleanedPrepared.jsonl是使用函式fileTransferToPreparedData後產出的檔案。

19

issue: 19#issue-1842723795

SamanthaYu0611 commented 1 year ago

已多次測試確認Code可運作正常,先進行merge已往下推進進度。