Chatglm_lora_multi-gpu
大模型prompt&delta理论部分知识
1.CSDN链接
2.知乎链接
语音学术助手理论部分
1.知乎链接
2.知乎链接
langchain keypoint理论部分
1.知乎链接
2.知乎链接
代码见APP_example/langchain_keypoint
real time draw
代码见APP_example/real_time_draw
clip retrieval理论部分
1.知乎链接 代码见APP_example/clip_retrieval
1.图片库特征抽取代码：extract_embeddings.py
2.图片特征在faiss向量数据库建立索引：build_index.py
3.可视化应用界面：app.py
retrieval inage generator理论部分
1.知乎链接
代码见APP_example/retrieval_image_gen，如果直接启动需要24G左右显卡（没这么对显卡同学可以考虑api方式实现llm和image2image，clip检索显卡需求很低）
1.整合最终效果代码：app_gradio.py
2.图片image2image代码：upimage.py
3.openaistyle访问qwen大模型：先启动服务端openai_api.py；在启动可视化界面 chatbot_st.py
带文字海报智能生成理论部分
1.知乎链接
代码见APP_example/auto_poster，如果直接启动需要24G左右显卡.目前代码还之包括4个模块，模块间衔接需要人手动操作，下一个版本会做到自动化一键输入生成。
1.生图模块
2.字排版模块
3.图文混合模块
4.图审核验证模块
AI native数字人理论部分
1.知乎链接
代码见APP_example/digital_human，有五个模块，每个模块可以顺序启动，启动一个运行完得到中间结果关闭然后运行下一个。
以chatglm为引擎，逐步配置各种插件，拓展更多应用
初始化环境
pip install -r requirements.txt
包括3种方式多gpu运行：
0 最简单的多gpu运行，能跑通的单机脚本+deepspeed的配置文件就可以
python finetune.py \
--dataset_path data/alpaca \
--lora_rank 8 \
--per_device_train_batch_size 2 \
--gradient_accumulation_steps 1 \
--max_steps 2000 \
--save_steps 1000 \
--save_total_limit 2 \
--learning_rate 2e-5 \
--fp16 \
--remove_unused_columns false \
--logging_steps 50 \
--report_to wandb
--output_dir output
torchrun --nproc_per_node=2 multi_gpu_fintune_belle.py \
--dataset_path data/alpaca \
--lora_rank 8 \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 1 \
--save_steps 2000 \
--save_total_limit 2 \
--learning_rate 2e-5 \
--fp16 \
--num_train_epochs 2 \
--remove_unused_columns false \
--logging_steps 50 \
--report_to wandb
--output_dir output \
--deepspeed ds_config_zero3.json
1.deepspeed
数据处理
数据准备好后执行下面命令
torchrun --nproc_per_node=2 multi_gpu_fintune_belle.py \
--dataset_path data/alpaca \
--lora_rank 8 \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 1 \
--save_steps 1000 \
--save_total_limit 2 \
--learning_rate 2e-5 \
--fp16 \
--num_train_epochs 2 \
--remove_unused_columns false \
--logging_steps 50 \
--gradient_accumulation_steps 2 \
--output_dir output \
--deepspeed ds_config_zero3.json
2.accelerate+deepspeed
准备数据
python tokenize_dataset_rows_belle.py \
--jsonl_path data/alpaca_data.jsonl \
--save_path data/alpaca \
--max_seq_length 200 \
--skip_overlength
数据准备好后执行下面命令
accelerate launch --config_file accelerate_ds_zero3_cpu_offload_config.yaml multi_gpu_fintune_belle.py \
--dataset_path data/alpaca \
--lora_rank 8 \
--per_device_train_batch_size 2 \
--gradient_accumulation_steps 1 \
--max_steps 10000 \
--save_steps 1000 \
--save_total_limit 2 \
--learning_rate 2e-5 \
--fp16 \
--remove_unused_columns false \
--logging_steps 50 \
--output_dir output
3.ddp方式还没试
batch inference
实际工作中常常会出现，需要批量不数据预测出来问题
往往我们有一台高性能的机器，但是如果做fintune，只能一张卡一个时间面对一个请求，造成显卡存资源浪费
batch inference成为必要
1.deepspeed --num_gpus 2 chatglm_deepspeed_inference.py
2.显卡资源不足以装下大模型，可以用accelerate.load_checkpoint_and_dispatch：
# init deepspeed inference engine
'''ds_model = deepspeed.init_inference(
model=model, # Transformers models
mp_size=8, # Number of GPU
dtype=torch.float16, # dtype of the weights (fp16)
replace_method="auto", # Lets DS autmatically identify the layer to replace
replace_with_kernel_inject=True, # replace the model with the kernel injector
)
print(f"model is loaded on device {ds_model.module.device}")'''
deepspeed --num_gpus 2 chatglm_milti_gpu_inference.py
## webUI交互 ##
进入webui文件夹，执行readme.txt命令即可
streamlit run web_feedback.py --server.port 6006
## 新增chatglm作图应用 ##
进入APP——example应用
## 利用自定义知识库约束，chatglm回复 ##
进入APP——example应用 chat_langchain
pip install -r requirement.txt \n
python knowledge_based_chatglm.py