Open kyakuno opened 1 year ago
weight_diff.py を動作させるために、CPUモードで64GB程度のメモリが必要
モデルの復元のために必要なオリジナルのllamaモデルを取得するために、申請が許可される必要がある。 https://huggingface.co/docs/transformers/main/model_doc/llama#usage-tips
Weights for the LLaMA models can be obtained from by filling out this form
オリジナルのllamaモデルを取得できても、適切にモデルを復元できていない可能性がある?
以下のissue参照
https://github.com/tatsu-lab/stanford_alpaca/issues/256
こちら https://github.com/juncongmoo/pyllama
python -m llama.download --model_size 7B
からダウンロードしたモデルを使い、weight_diff.py でモデルを作成すること自体はできる。 当然かもしれないが、check_integrity_naivelyのチェックを通らなかった。 しかし、それらしい結果を得ることができている。
Input: Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction:
List three technologies that make life easier.
### Response:
Completion: Three technologies that make life easier include the internet, cell phones, and computers. The internet allows us to access information from anywhere, cell phones allow us to stay connected to family and friends from anywhere, and computers allow us to process data faster and more efficiently.
weight_diff.py で作成したモデルを optimum-cliでエクスポートできそうであったが、64GBでもメモリエラーが発生する。
optimum-cli export onnx --model <path_to_store_recovered_weights> --task text-generation-with-past output_dir
llm https://github.com/tatsu-lab/stanford_alpaca