1、新建conda环境名称为llama_factory,并激活
conda create -n llama_factory python=3.10
conda activate llama_factory
2、激活后可检查内部包是否纯净,要确保环境内包较纯净,不然后续安装对应包会出现一系列水土不服的问题,导致安装包冲突而失败
pip list # 显示初始环境内包环境如下
3、首先安装bitsandbytes库,可添加镜像源,命令如下
pip install bitsandbytes>=0.39.0 -i https://pypi.tuna.tsinghua.edu.cn/simple/# 运行成功显示信息如下
Successfully installed MarkupSafe-3.0.2
bitsandbytes-0.46.1
filelock-3.18.0
fsspec-2025.7.0
jinja2-3.1.6
mpmath-1.3.0
networkx-3.4.2
numpy-2.2.6
nvidia-cublas-cu12-12.6.4.1
...
4、下载llama factory代码,并cd到文件夹内部,然后运行官网给的pip命令,同样可以添加镜像源,不然会有包下载失败,导致一直重新装
pip install -e ".[torch,metrics,gptq]" -i https://pypi.tuna.tsinghua.edu.cn/simple/
过程中会出现如下步骤情况,时间稍微久一点,等待即可
安装完同样会出现如下提示
5、终端运行 llamafactory-cli version 查看是否安装成功,显示如下信息
llamafactory-cli version
6、启动web端进行显示命令
llamafactory-cli webui
效果如下
7、注意事项
(1)、初始环境一定要较为纯净,不然可能会导致库之间的冲突而安装失败
(2)、安装命令皆可添加镜像源,防止过程中下载失败导致一直重新安装库