huggingface上汇集了各个大模型和预训练模型的权重文件,但是访问huggingface需要连接外网,即时连接外网之后下载仍然过慢甚至会出现中断,因此本文将使用两种方法教你解决上述问题。
文章目录
- 1.使用国内镜像下载
- 2.使用Python脚本自动化下载
1.使用国内镜像下载
使用国内huggingface镜像:https://hf-mirror.com/。
huggingface建立了一个国内镜像网站,可以通过搜索模型名字下载对应的权重文件。
例如,我想要下载Qwen2.5-Omni-7B的模型权重,可以在上图的搜索框搜索该名字。
魔塔社区作为huggingface的平替开源社区,同样集成了很多模型的权重文件。
https://www.modelscope.cn/home
2.使用Python脚本自动化下载
使用snapshot_download
库从huggingface网站下载模型,下载过程中若出现中断可以重新执行代码,执行后则会继续下载文件。repo_id
为你想下载的模型名称。
import osos.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
from huggingface_hub import snapshot_download
snapshot_download(repo_id="Go4miii/DISC-FinLLM",repo_type="model",local_dir="J:/DISC-FinLLM/",resume_download=True)
from modelscope import snapshot_download
model_dir = snapshot_download(model_id='Qwen/Qwen2.5-VL-7B-Instruct', # 官方模型cache_dir='./test', # 可选:指定本地存储路径user_agent={'Use-Case': 'download'} # 推荐添加用户标识
)
print(f"模型已下载至:{model_dir}")