pip 之后还是有很多库没有 ；比如dataset；求大佬解答一下。golang过来的，对不起耽误大佬时间

[Mr1994]

提交前必须检查以下项目

• [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。
• [X] 我已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。
• [X] 第三方插件问题：例如llama.cpp、LangChain、text-generation-webui等，同时建议到对应的项目中查找解决方案。

问题类型

其他问题

基础模型

Chinese-LLaMA-2 (7B/13B)

操作系统

macOS

详细描述问题

import logging
import numpy as np
import math
import os
import sys
from dataclasses import dataclass, field
from itertools import chain
from typing import Optional, List, Dict, Any, Mapping
from pathlib import Path
import datasets
import torch
from datasets import load_dataset, concatenate_datasets

运行的时候会提示这个错误

NOTE: Redirects are currently not supported in Windows or MacOs. Traceback (most recent call last): File "/Users/sunwenke/workspace/yongxinApi/AI-test-llm/Chinese-LLaMA-Alpaca-2/scripts/training/run_clm_sft_with_peft.py", line 31, in import datasets ModuleNotFoundError: No module named 'datasets' ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank: 0 (pid: 3164) of binary: /Users/sunwenke/miniconda3/envs/Chinese-LLaMA-Alpaca-2/bin/python Traceback (most recent call last):

依赖情况（代码类问题务必提供）

运行日志或截图

# 请在此处粘贴运行日志（请粘贴在本代码块里）

[iMountTai]

pip install datasets，出现ModuleNotFoundError一般pip 相应的包即可，建议多搜索一下相关问题。

[Mr1994]

我想的的 为什么不直接把这种datasets这个包直接放到 requirements.txt 文件里面，而且我看就算是安装了datasets 还少其他的包~而且也有可能的版本安装的有问题， 当然这只是我一个想法， 可能咋们有其他方面的考量

[Mr1994]

ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. tokenizers 0.14.1 requires huggingface_hub<0.18,>=0.16.4, but you have huggingface-hub 0.19.4 which is incompatible. 我pip之后正好就出现这个错误了；所以想着是不是可以把python 版本 以及其他的参数标注清楚~~

[iMountTai]

谢谢你的建议，但是每个人的生产环境不同，因此只对必需的版本做了要求。您使用过程中有什么问题，欢迎提issue，我们看到后会及时回复。

[Mr1994]

我们有微信群吗。 想到群里问下。 我是macos 有提示了这个错误

[iMountTai]

macos上没有GPU吧？

[Mr1994]

macos上没有GPU吧？ 我芯片是m1 pro 这个不是集成芯片吗

[iMountTai]

目前的训练都是基于NVIDIA GPU的，M1不支持

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[AimoneAndex]

目前的训练都是基于NVIDIA GPU的，M1不支持

请问使用llama.cpp可以在Apple处理器的GPU上跑通吗？

[AimoneAndex]

pip install datasets，出现ModuleNotFoundError一般pip 相应的包即可，建议多搜索一下相关问题。

对应库都安装好了，但是二级调用（from…install…）都不能用，全都找不到是怎么回事呢？如果需要我可以再提交一个issue。谢谢！

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[AimoneAndex]

是llama.cpp不支持训练吗？

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[github-actions[bot]]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.