-
### Your current environment
```text
Collecting environment information...
PyTorch version: 2.4.0+cu121
Is debug build: False
CUDA used to build PyTorch: 12.1
ROCM used to build PyTorch: N/A
…
-
Hi,
I'm trying to run run MiniCPM-2B model using the code provided in [快速上手](https://github.com/OpenBMB/MiniCPM?tab=readme-ov-file#2), however, I got `CUDA out of memory` error. Since it's only a 2B…
-
“我们将MiniCPM的模型权重转化成了Llama代码可以直接调用的[格式](https://huggingface.co/openbmb/MiniCPM-2B-sft-bf16-llama-format),以便大家尝试”
请问这个是怎么转换的?能否提供脚本?
-
### Feature request / 功能建议
MiniCPM在小模型里面很强,至少在评估中文文本流畅度方面, 发现是小模型中最强的
但现在有个问题是部署起来GPU利用率不高, 自己找了一下支持MiniCPM推理的框架,也没有成功
vllm 可以用logprob模拟,但是这样跑起来速度更慢了
fastllm有一个response_logits接口,用下来应该是generate文本后…
-
### Your current environment
2024-04-24 06:04:07 (27.2 MB/s) - ‘collect_env.py’ saved [24877/24877]
Collecting environment information...
PyTorch version: 2.2.1+cu121
Is debug build: False
CUDA…
-
### Description / 描述
使用demo中的prompt”编写一个python程序实现一个MiniCPM模型:Transformer结构,40层,每层的维度为2304,词表大小为112753“,在MiniCPM-2B-sft-fp32/MiniCPM-2B-dpo-bf16/MiniCPM-2B-sft-bf16上进行多次重复测试,代码生成效果非常差,经常会陷入死循环(重复固定…
-
### 是否已有关于该错误的issue或讨论? | Is there an existing issue / discussion for this?
- [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions
### 该问题是否在FAQ中有解答? | Is there an existing…
-
### 起始日期 | Start Date
_No response_
### 实现PR | Implementation PR
_No response_
### 相关Issues | Reference Issues
_No response_
### 摘要 | Summary
When following the [instructions](https://github.co…
-
[https://github.com/OpenBMB/MiniCPM-V](MiniCPM-V)
> [2024.05.24] We release the [MiniCPM-Llama3-V 2.5 gguf](https://huggingface.co/openbmb/MiniCPM-Llama3-V-2_5-gguf), which supports [llama.cpp](htt…
ycyy updated
3 months ago
-
在使用除去中文和英语的HumanEval以外,使用UltraEval自带的HumanEval评分机制会导致分数接近于0或为0,而使用官方程序进行处理则可以正常出分
R0k1e updated
5 months ago