axinc-ai / ailia-models

The collection of pre-trained, state-of-the-art AI models for ailia SDK
2.05k stars 325 forks source link

ADD stanford alpaca #1071

Open kyakuno opened 1 year ago

kyakuno commented 1 year ago

llm https://github.com/tatsu-lab/stanford_alpaca

ooe1123 commented 9 months ago

weight_diff.py を動作させるために、CPUモードで64GB程度のメモリが必要

ooe1123 commented 9 months ago

モデルの復元のために必要なオリジナルのllamaモデルを取得するために、申請が許可される必要がある。 https://huggingface.co/docs/transformers/main/model_doc/llama#usage-tips

Weights for the LLaMA models can be obtained from by filling out this form

オリジナルのllamaモデルを取得できても、適切にモデルを復元できていない可能性がある?

以下のissue参照

https://github.com/tatsu-lab/stanford_alpaca/issues/256
ooe1123 commented 9 months ago

こちら https://github.com/juncongmoo/pyllama

python -m llama.download --model_size 7B

からダウンロードしたモデルを使い、weight_diff.py でモデルを作成すること自体はできる。 当然かもしれないが、check_integrity_naivelyのチェックを通らなかった。 しかし、それらしい結果を得ることができている。

Input: Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
List three technologies that make life easier.

### Response:
Completion: Three technologies that make life easier include the internet, cell phones, and computers. The internet allows us to access information from anywhere, cell phones allow us to stay connected to family and friends from anywhere, and computers allow us to process data faster and more efficiently.
ooe1123 commented 9 months ago

weight_diff.py で作成したモデルを optimum-cliでエクスポートできそうであったが、64GBでもメモリエラーが発生する。

optimum-cli export onnx --model <path_to_store_recovered_weights> --task text-generation-with-past output_dir