search

Lightning-AI / litgpt

Pretrain, finetune, deploy 20+ LLMs on your own data. Uses state-of-the-art techniques: flash attention, FSDP, 4-bit, LoRA, and more.
https://lightning.ai
Apache License 2.0
6.95k stars 733 forks source link

'Phi-3-mini-4k-instruct' is not a supported config name #1412

Open georgehu0815 opened 2 weeks ago

georgehu0815 commented 2 weeks ago

export HF_HOME=./cache/ && litgpt download --repo_id microsoft/Phi-3-mini-4k-instruct

generation_config.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 172/172 [00:00<00:00, 1.07MB/s] model-00001-of-00002.safetensors: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.97G/4.97G [03:25<00:00, 24.2MB/s] model-00002-of-00002.safetensors: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2.67G/2.67G [01:57<00:00, 22.8MB/s] tokenizer.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.84M/1.84M [00:00<00:00, 12.1MB/s] tokenizer.model: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500k/500k [00:00<00:00, 17.1MB/s] tokenizer_config.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3.17k/3.17k [00:00<00:00, 2.52MB/s] Converting .safetensor files to PyTorch binaries (.bin) checkpoints/microsoft/Phi-3-mini-4k-instruct/model-00001-of-00002.safetensors --> checkpoints/microsoft/Phi-3-mini-4k-instruct/model-00001-of-00002.bin checkpoints/microsoft/Phi-3-mini-4k-instruct/model-00002-of-00002.safetensors --> checkpoints/microsoft/Phi-3-mini-4k-instruct/model-00002-of-00002.bin Converting checkpoint files to LitGPT format.

config.py 99 from_name conf_dict = next(config for config in configs if name == config["hf_config"]["name"])

StopIteration

litgpt 8 sys.exit(main())

main.py 143 main fn(**kwargs)

download.py 107 download_from_hub convert_hf_checkpoint(checkpoint_dir=directory, dtype=dtype, model_name=model_name)

_contextlib.py 115 decorate_context return func(*args, **kwargs)

rasbt commented 2 weeks ago

Thanks for reporting. This would be because Phi-3 has not been added yet via #1341