-
环境配置都是按照教程来的。
然后自定义的数据集为：
{"conversation": [{"system": "你是一位旅游路线规划方向上，关键词提取的高手，你能够精确的获取到句子中的关键词，从而能够保证在网络上能够搜索到非常准确且良好的内容以供回复", "input": "我想要计划一个澳大利亚深度旅游，有哪些景点值得推荐？", "output": "澳大利亚, 深度旅游, 景点推荐"}…
-
### Model introduction
This is a general-purpose 7B LLM. It has a 1M token context window, and is the best-performing sub-12B model on Open LLM Leaderboard, so it might be a good base for further tra…
-
请问视频理解可以使用4bit量化的模型吗？我看文档例子使用的是全量模型，我尝试使用4bit模型提示显存不够，请问一般情况下需要多少显存？
ps: 测试理解单张图像，使用4bit模型是没问题的。
### 视频理解的代码：
from lmdeploy import pipeline, GenerationConfig
from transformers.dynamic_module_u…
-
这是我修改的微调config脚本文件：
# Copyright (c) OpenMMLab. All rights reserved.
import torch
from datasets import load_dataset
from mmengine.dataset import DefaultSampler
from mmengine.hooks import (Checkpoi…
-
命令：(xtuner-env) root@autodl-container-d293479255-f53de588:~/autodl-tmp/data# xtuner train sh/internlm2_5_chat_7b_qlora_oasst1_e3_copy.py --deepspeed deepspeed_zero2
报错信息：10/18 16:45:32 - mmengine - W…
-
微调的时候出现这个问题，请问大佬们如何解决
(base) root@91bd5febc58b:/data/nlp_translate# CUDA_VISIBLE_DEVICES=2,3 NPROC_PER_NODE=2 xtuner train /data/nlp_translate/train_for_internlm/internlm2_5_chat_7b_qlora.py --d…
-
The issue is present in both internlm-xcomposer2-vl-7b and internlm-xcomposer2-7b, where there is a dimension mismatch between attention_mask and combined_attention_mask. The code was directly cloned …
-
I found that in the benchmark/suite has the output time to first token. However, when I run `python benchmark.py --model meta-llama/Llama-2-7b-hf static --isl 128 --osl 128 --batch 1` an error occurs:…
-
全新git获取的MindSearch和lagent仓库（之所以不直接安装是因为需要修改lagent部分代码），其余正常pip安装。
修改了terminal.py的15行模型为本地模型internlm2-chat-20b-4bit（使用lmdeploy对internlm2-chat-20b进行量化后的模型）
在运行mindsearch/terminal.py的时候，就出现报错，不影响最后出结果：…
-
我按照教程配置了所有的环境内容，但是一运行就报错..
后面我离线转换的也是报错这个
(lmdeploy) root@intern-studio:~# lmdeploy chat turbomind /share/temp/model_repos/internlm-chat-7b/ --model-name internlm-chat-7b
model_source: hf_model
…