Bella's Blog
0%

Windows+anaconda+4050 6G+llama2_7b本地部署一

发表于 更新于 分类于 Valine：
本文字数： 378 阅读时长 ≈ 1 分钟

本文就llama2本地部署以及微调训练一个客服对话机器人的使用以及效果以实验步骤做实验介绍

环境安装配置

1
2
3
## 在原有环境基础上创建一个新环境
conda create -n llama2 --clone chatglm 
pip install peft trl

参考链接

复制Anaconda虚拟环境

Fine-Tuning Llama 2.0 with Single GPU Magic

timdettmers/openassistant-guanaco

NousResearch/Llama-2-7b-chat-hf

Running Llama-7B on Windows CPU or GPU

How to Fine-tune Llama 2 with LoRA for Question Answering: A Guide for Practitioners