LLaMA-Factory是一款比较流行的大语言模型微调框架。本文主要记录在阿里云人工智能平台PAI的DSW实例中部署LLaMA-Factory的过程，主要参考的教程是B站视频LLaMA-Factory私有化部署。
LLaMA-Factory的私有化部署与部署大模型的过程大体相同，都包括创建Python虚拟环境、下载项目文件及安装所需的依赖包，但在部署LLaMA-Factory时不需要再安装模型权重文件。
img.cn/direct/d66ef3cf5b2147ff9b1a96e3cd79c6d7.png)
部署前提：了解LLaMA-Factory私有化部署对软硬件的要求（在进行部署之前，一定要在Github上查看项目文件，以了解其软硬件版本要求）
step1: 安装NVIDIA显卡驱动
一般云服务器上已经安装好了显卡驱动，只需使用下面的代码进行确认显卡驱动安装情况
nvidia-smi
step2: 安装Anaconda
我使用conda --version没有查看到conda的信息，应该是DSW实例中没有进行预先安装。采用下面的命令进行安装：
# 下载安装包
wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh
# 执行安装命令
bash Anaconda3-2023.09.0-Linux-x86_64.sh
默认的安装路径是/root/anaconda3。
安装完成后，采用下面的命令修改bashrc文件以配置环境变量。
vi ~/.bashrc
按 i 进入编辑模式，在bashrc文件低端添加下面的代码
# 末尾添加anaconda3所在路径
export PATH=/root/anaconda3/bin:$PATH
# 修改终端的默认 python 为 anaconda，否则会报错找不到命令activate
source /root/anaconda3/bin/activate
添加完成后，按Esc键退出编辑模式，然后输入:wq保存、退出。再在命令行使用以下代码令环境变量的修改立即生效。
source ~/.bashrc
step3: 使用Conda创建LLaMA-Factory的Python虚拟环境
需要记住的是一个项目对应一个虚拟环境。
# 创建虚拟环境
conda create --name llama_factory python==3.11
# 激活，进入虚拟环境
conda activate llama_factory
step4: 根据CUDA版本安装pytorch
使用下面的代码进行Pytorch的安装
#根据自己电脑显卡的CUDA版本要求，在Pytorch官网中找到适合自己的Pytorch
conda install pytorch==2.2.0 torchvision==0.17.0 torchaudio==2.2.0 pytorch-cuda=12.1 -c pytorch -c nvidia
安装完成后进入Python编辑器，检查GPU及Pytorch是否安装成功。
python
import torch
print(torch.cuda.is_available())
#如果输出为True，则安装成功
step5: 下载LLaMA-Factory项目文件
也可以在github中下载.zip文件，然后上传至云服务器进行解压、安装。
这里使用git安装。
#先安装git软件部
sudo apt install git
#通过git clone将项目文件下载至本地
git clone https://github.com/hiyouga/LLaMA-Factory.git
step6: 更新pip
建议在执行项目的依赖安装之前升级pip的版本，如果使用的是旧版本的pip，可能无法安装一些最新的包，或者可能无法正确解析依赖关系。
python -m pip install --upgrade pip
step7: 使用pip安装LLaMA-Factory项目代码运行的项目依赖
LLaMA-Factory的requirements.txt文件包含了项目运行所需的所有Python包及其精确版本，可使用pip一次性安装所有依赖。
# 进入LLaMA-Factory文件夹
cd LLaMA-Factory
# 安装requirements.txt
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
如此，便完成了私有化部署。
