search

PaddlePaddle / PaddleNLP

👑 Easy-to-use and powerful NLP and LLM library with 🤗 Awesome model zoo, supporting wide-range of NLP tasks from research to industrial applications, including 🗂Text Classification, 🔍 Neural Search, ❓ Question Answering, ℹ️ Information Extraction, 📄 Document Intelligence, 💌 Sentiment Analysis etc.
https://paddlenlp.readthedocs.io
Apache License 2.0
11.99k stars 2.93k forks source link

llama3 模型获取 support #8585

Closed sanbuphy closed 3 months ago

sanbuphy commented 3 months ago

Feature request

目前llama模型下载只能获取到 llama2，虽然llama3支持，但是转换后无法很方便的再aistudio上使用；请问能支持下官方llama3 以及一些中文sft后的模型吗 比如 https://huggingface.co/hfl/llama-3-chinese-8b-instruct-v3 之类的任意都行；谢谢！

Motivation

增加llama3内网拉取支持

Your contribution

能自己转换但是无法上传；我想把官方拉取转换后的 checkpoint 传到 aistudio

ZHUI commented 3 months ago

额，请问你的问题是 llama3 下载不了吗？内网无法下载？

ZHUI commented 3 months ago

是自己上传到 AiStudio ？但是 studio 不支持上传？你的主要问题是？

sanbuphy commented 3 months ago

额，请问你的问题是 llama3 下载不了吗？内网无法下载？

对的, 直接 from pretrained 无法获取

sanbuphy commented 3 months ago

是自己上传到 AiStudio ？但是 studio 不支持上传？你的主要问题是？

问题是无法通过paddlenlp内置下载；如果不能支持只能自己转换torch权重后上传到 aistudio但这个很麻烦

ZHUI commented 3 months ago

目前 官方的 llama-3 模型，是支持下载的。你的需求是这些第三方模型，也支持内置下载 对吗？

sanbuphy commented 3 months ago

目前 官方的 llama-3 模型，是支持下载的。你的需求是这些第三方模型，也支持内置下载 对吗？

明白了；其实只需要chinese有可支持的内置下载即可（或者可以放到 release的列表，然后我可以直接看了下载

以及如果能支持 类似 huggingface-cli download 指定权重缓存地址就好了