一起来轻松玩转文心大模型吧👉一文心大模型免费下载地址: https://ai.gitcode.com/theme/1939325484087291906

前言

2025年6月30日,百度正式开源文心大模型4.5系列(ERNIE 4.5),涵盖10款不同参数规模的模型,包括了47B(470亿)、3B(30亿)激活参数的异构混合专家架构多模态MoE大模型,及0.3B(3亿)参数的稠密型模型,预训练权重与推理代码均完全开放。除此之外还提供完整的ERNIEKit微调工具链和FastDeploy推理框架,兼容主流生态,适用于各种业务场景。

目前,这些模型已可在GitCode代码托管平台进行下载,博主这里也是第一时间对文心开源模型ERNIE-4.5-0.3B-Paddle进行了私有化部署测评。

文心模型开源系列

二、文心开源大模型私有化部署

从GitCode平台可以看到,百度此次开源的文心大模型有十多款,形成了从0.3B到424B参数的梯度覆盖,不仅包含文本模型还包含了视觉多模态模型(VLM),除最小的0.3B 模型外,其余模型都采用异构多模态MoE(专家混合模型:Mixture of Experts)架构。

在这里插入图片描述

这里咱们选择的是ERNIE-4.5-0.3B-Paddle大模型,只包含了3亿参数量,属于一个轻量化模型,可以进行本地部署,对显卡要求没有300B或者28、21B参数的模型(需要80G显卡)要求高。
在这里插入图片描述

1、准备好系统镜像和显卡

博主这里准备是英伟达的4090显卡(24G显存),用来跑ERNIE-4.5-0.3B-Paddle的轻量化模型是足够的。
在这里插入图片描述

操作镜像,这里准备的是Ubuntu 20.04系统,加上必要的环境CUDA12\Python3.10等,如下图所示:

在这里插入图片描述

2、下载huggingface-cli

huggingface-cli 是 Hugging Face 官方提供的命令行工具,自带完善的下载模型功能

pip install -U huggingface_hub
3、如果下载受限制,可以设置以下国内环境变量,
2. 设置环境变量
Linux
export HF_ENDPOINT=https://hf-mirror.comWindows Powershell
$env:HF_ENDPOINT = "https://hf-mirror.com"建议将上面这一行写入 ~/.bashrc。

4、下载大模型

我们选择的是ERNIE-4.5-0.3B-Paddle大模型

在这里插入图片描述

下载命令:

#cDownload Model
huggingface-cli download baidu/ERNIE-4.5-0.3B-Paddle --local-dir baidu/ERNIE-4.5-0.3B-Paddle

在这里插入图片描述

5、下载 paddlepaddle-gpu

#注意这里的版本需要根据自己的cuda的版本去定python3 -m pip install paddlepaddle-gpu==3.1.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu118/
Looking in indexes: https://www.paddlepaddle.org.cn/packages/stable/cu118/

6、下载fastdeploy-gpu

FastDeploy的安装按这个文档,不要直接pip install,有要求,你的显卡选择对应命令,
下载地址:https://paddlepaddle.github.io/FastDeploy/get_started/installation/nvidia_gpu/


#1、如果是 For SM86/89 architecture GPUs(e.g A10/4090/L20/L40):执行这个命令:
python -m pip install fastdeploy-gpu -i https://www.paddlepaddle.org.cn/packages/stable/fastdeploy-gpu-86_89/ --extra-index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple#2、如果是For SM80/90 architecture GPUs(e.g A30/A100/H100/):执行这个命令
python -m pip install fastdeploy-gpu -i https://www.paddlepaddle.org.cn/packages/stable/fastdeploy-gpu-80_90/ --extra-index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

在这里插入图片描述

7、运行模型

python -m fastdeploy.entrypoints.openai.api_server \--model baidu/ERNIE-4.5-0.3B-Paddle \--port 8180 \--metrics-port 8181 \--engine-worker-queue-port 8182 \--max-model-len 32768 \--max-num-seqs 32

8、成功运行提示

Launching metrics service at http://0.0.0.0:8181/metrics

在这里插入图片描述

到这一步,咱们的模型就算部署成功了,咱们接下来,写一个测试脚本,看看模型提供的API接口能否调用成功。

9、编写脚本测试调用 test.py

test.py 测试脚本如下所示:

import openai
host = "0.0.0.0"
port = "8180"
client = openai.Client(base_url=f"http://{host}:{port}/v1", api_key="null")response = client.chat.completions.create(model="null",messages=[{"role": "system", "content": "你是一位电商售后客服专家,擅长处理客户售后服务问题,对产品使用体验、物流配送、售后服务、退换货流程和日常保养等都有丰富的实践经验。"},{"role": "user", "content": "请问一般的产品售后有哪些保障,如何退换货?."},],stream=True,
)
for chunk in response:if chunk.choices[0].delta:print(chunk.choices[0].delta.content, end='')
print('\n')

在这里插入图片描述

10、大模型回答

运行命令:python test.py

在这里插入图片描述

大模型调用成功请求日志
在这里插入图片描述

到这里我们的大模型就私有化部署成功了。

对于算力有限的中小开发者,0.3B参数的稠密型模型可降低部署门槛,MoE模型则能满足企业级复杂任务的需求。这种分层供给思路,让不同资源条件的使用者都能找到适配的工具。

三、文心开源大模型官方Benchmark(基准测试)对比

因为算力有限,博主这里找到百度官方来做的基准测试图,我们可以看到文心4.5系列21B和30B的多模态大模型在Benchmark测评上与其他开源模型相比,优秀的效果体现。

大模型的Benchmark(基准测试)是用于评估和比较大型机器学习模型(如GPT、DeepSeek、PaLM等)性能的一系列标准化任务、数据集和评价指标,常用来作为评价模型质量的标准之一。

在这里插入图片描述

四、文心开源大模型(ERNIE 4.5)核心技术架构探索

与常规的单模态MoE不同,此次百度开源的ERNIE 4.5模型是一种异构混合型,也就是通过“分而治之”策略提升模型性能的人工智能架构:将多个不同类型的专家模块集成在一起,每个输入仅激活部分相关的专家模块,从而在不显著增加计算量的前提下大幅提升模型容量。

我们选择一个ERNIE-4.5-21B-A3B-Base-Paddle,21b参数的开源模型的工程目录点击进去查看,如下图所示
在这里插入图片描述

文心开源大模型(ERNIE 4.5)核心技术包含以下几点:

1、异构多模态MoE架构:

异构多模态:
多模态:模型能“看懂”图片、“听懂”语音、“读懂”文字,还能把三者结合起来理解(比如看到一张“猫在沙发上”的图片,能生成对应的文字描述)。
异构:不同任务由不同的“专家模块”处理,比如文本任务由“语言专家”负责,图片任务由“视觉专家”负责,避免“一刀切”导致的效率低下。

MoE(专家混合模型):
原理:模型内部有多个“专家”(类似不同领域的专家),输入数据时,系统会自动分配给最擅长的专家处理。
优势:避免单一模型“什么都做但都不精”的问题,同时通过动态激活专家,减少计算量,提升效率。

2、多模态混合专家模型预训练

通过模态隔离路由和异构专家并行策略,实现文本与视觉模态的联合训练,避免模态间干扰

3、ERNIE 4.5的架构设计理念分析

  1. 专家分工:三类专家各司其职
    文本专家:专注处理语言任务(如翻译、写文章、代码生成)。
    视觉专家:优化图片/视频处理(如识别物体、分析场景)。
    共享专家:捕捉跨模态的通用特征(比如文字和图片的关联性)。

  2. 动态路由:智能分配任务
    门控网络:相当于“任务调度员”,根据输入内容(文本/图片/视频)自动选择最合适的专家组合。
    稀疏激活:每个任务只激活少量专家(比如处理文本时,主要用文本专家,少量用共享专家),减少计算量。

  3. 效率优化:又快又省
    自适应分辨率:视觉专家支持任意尺寸图片输入,避免裁剪导致的细节丢失。
    混合精度训练:用更低的计算资源训练更大模型,成本降低但性能不降。
    专家并行:分布式训练中,专家模块分布在不同设备,提升训练速度。

4、 对比传统模型:ERNIE 4.5的优势

  • ERNIEKit开发套件:覆盖微调(SFT)、对齐(DPO)到量化的全流程开发。

  • FastDeploy部署工具:解决多硬件平台高效推理问题,降低部署门槛。

维度传统模型ERNIE 4.5
处理模态单一模态(如只能处理文本)多模态(文本+图片+视频)
计算效率高(可能浪费资源)低(动态激活专家)
专业性泛泛而谈各领域专家精准处理
部署难度高(需复杂调优)低(配套工具链支持)

五、项目总结

百度开源文心4.5系列,不仅以多模态架构创新、高效训练体系构建及先进量化技术突破,彰显其在人工智能领域的技术领导力,更通过开源战略的深度实践,为全球大模型技术生态注入普惠动能。此次开源犹如为智能革命装上涡轮引擎,当技术民主化的浪潮冲破产业壁垒,真正受益的将是扎根开源沃土的万千创新者——他们以效率为刃,正在智能时代的画布上勾勒出前所未有的创新图景。这场由技术普惠驱动的变革,不仅重构了AI开发范式,更在产业升级的深水区开辟出一条由开放创新引领的智能进化之路。

文心是百度自主研发的产业级知识增强大模型,以创新性的知识增强技术为核心,从单模态大模型到跨模态、从通用基础大模型到跨领域、跨行业持续创新突破,构建了模型层、工具与平台层,百度开源文心大模型这一动作,大幅降低人工智能开发和应用门槛,加快人工智能大规模产业化进程并拓展人工智能技术边界。

一起来轻松玩转文心大模型吧👉一文心大模型免费下载地址: https://ai.gitcode.com/theme/1939325484087291906

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/pingmian/88072.shtml
繁体地址,请注明出处:http://hk.pswp.cn/pingmian/88072.shtml
英文地址,请注明出处:http://en.pswp.cn/pingmian/88072.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

大模型面试:如何解决幻觉问题

在大模型面试中回答“如何解决幻觉”问题时,需要展现你对问题本质的理解、技术方案的掌握以及工程实践的洞察。以下是一个结构化的回答框架和关键点,供你参考:回答框架:问题理解 -> 解决方案 -> 总结 1. 明确问题&#xff0…

matlab实现五自由度机械臂阻抗控制下的力跟踪

五自由度机械臂阻抗控制下的力跟踪,可以实现对力的跟踪反馈,基于MATLAB的机器人工具箱 eyebot.m , 767 zuakang_wailiraodong.m , 2568 colormp.mat , 682

excel日志表介绍

在Excel中制作“日志表事物”(可理解为记录事务的日志表格),通常用于系统性追踪事件、任务、操作或数据变化。以下从表格设计、核心要素、制作步骤、函数应用及场景案例等方面详细说明,帮助你高效创建和使用事务日志表。 一、日志…

汽车信息安全 -- SHE密钥更新小细节

之前我们把SHE密钥更新流程做了梳理,汽车信息安全 -- SHE 密钥更新流程 但在实际做SHE Emulation的时候还是发现了问题,例如如果想更新SHE Key ID等于30,会如何影响M1-M5的值呢?。 今天就聊聊关于几家对于SHE Key的管理。 1. N…

Spring Boot配置优先级完全指南:实战解析覆盖规则

一、结论Spring Boot 中,位置越靠后优先级越高,外部配置压倒内部配置,命令行参数拥有最高优先权。案例: 在一次生产事故中,某团队通过 application-prod.properties 将服务端口设为 9000,但某运维人员在启动…

嵌入式数据库sqlite测试程序

继上篇对嵌入式数据库sqlite的移植和注意项,以及使用命令行测试之后,本篇对其进行了更进一步的程序测试,以备近期在项目中使用。测试程序及说明如下:/**************** 相关函数说明 ******************/ /* (1)sqlite3_open的函…

【学习篇】SQL复杂查询学习

要求:能对千万行级别的大表优化读写效率。 难点:如何创建千万行级别的大表 MySQL数据库的高效查询不仅依赖于合理的表结构和索引设计,还需要掌握高级查询技巧和性能优化方法。 数据表与数据表之间关系三种:实体之间关系 多对多…

Sequential Predictive Modeling of Clinical Trial Outcome with Meta-Learning解读

SPOT(Sequential Predictive Modeling of Clinical Trial Outcome with Meta-Learning)模型是用于临床试验结果预测的模型, 借鉴了模型无关元学习(MAML,Model-Agnostic Meta-Learning)的框架,将模型参数分为全局共享参数和任务特定参数,以平衡跨任务泛化与任务内适配:…

优先选择列表而非数组及泛型类型的使用

数组与泛型的核心差异 协变性与不变性 数组采用协变(covariant)类型规则:若Sub是Super的子类型,则数组类型Sub[]也是Super[]的子类型。这种设计允许以下代码通过编译: Object[] objectArray = new Long[1]; // 编译通过 objectArray[0

自动化Prompt生成平台的研发体系设计

一份轻松不啰嗦的自动化Prompt平台研发攻略 📑 目录 一、项目背景二、平台整体架构设计三、核心功能模块解析四、自动化流程设计五、样式与跨平台规范六、总结与展望 一、项目背景 在大模型应用爆发的今天,不写Prompt的工程师,正在变成“写…

[Swarm] 上下文变量 | 接入function功能调用 | Mcp

第3章:上下文变量 欢迎回到swarm! 在前两章中,我们学习了作为对话指挥者的Swarm框架和具备指令与技能的专用AI角色智能体。(智能体就相当于是给用户问题 已经写好了的提示词,在用户提问时自动加入,以此来给用户更好的…

【Unity开发】Unity实现第一人称视角与第三人称视角切换功能

一、效果展示 第三人称视角:固定摄像机,无任何操作 第一人称视角:用户可以通过wsad进行前后左右移动,qe进行上升下降操作 不同视角之间切换会有一个过渡动画,切换第一视角的初始位置始终为原点(0,0,0&am…

2025全球数字经济大会—云智算安全论坛暨第三届“SecGo论坛”成功召开!共筑安全新生态

2025年7月3日,由全球数字经济大会组委会主办,中国信息通信研究院、中国通信标准化协会承办的全球数字经济大会—云智算安全论坛暨第三届“SecGo论坛”在京召开。北京市经济和信息化局副局长顾瑾栩、中国通信标准化协会副理事长兼秘书长代晓慧、中国信通院…

KingbaseES聚焦产品上线:金仓数据库在线体验平台上线,开启数据库实践新征程

KingbaseES聚焦产品上线:金仓数据库在线体验平台上线,开启数据库实践新征程KingbaseES 在线体验平台是为数据库使用者、开发者、架构师及 DBA 打造的轻量化实践平台,无需本地安装数据库环境,通过浏览器即可快速上手,降…

LLMs之DeepSeek:AI模型市场深度分析:DeepSeek的挑战与机遇,模型市场份额、Token经济学与未来发展

LLMs之DeepSeek:AI模型市场深度分析:DeepSeek的挑战与机遇,模型市场份额、Token经济学与未来发展 导读:该文章主要分析了中国大语言模型DeepSeek R1发布150天后的市场表现、Token经济学的影响以及AI模型市场的竞争格局。文章指出&…

服装零售企业跨区域运营难题破解方案

在服装零售行业,本地化业务系统因承载库存、销售等核心数据,成为众多企业的选择。然而对于门店分布广、规模较大的服装销售商而言,总部系统与各地门店的远程连接却面临挑战:员工远程办公效率低、POS机数据同步滞后、跨区域监管难度…

- 思考小记

对于 分布式系统,我还是抱有敬畏之心的,因为其内容过于庞大;我在学习基础编程的时候走过一个最大的弯路就是过度追求技术而忽视了基础编码能力,当时在学习springboot的时候,觉得那些新内容都是那么新奇高大上&#xff…

装备制造数字孪生底座平台

在《中国制造2025》和《“十四五”智能制造发展规划》的推动下,数字孪生技术被7次重点提及,成为装备制造业智能化升级的核心战略。从航空航天到重型机械,从设计验证到运维优化,数字孪生底座平台正通过“虚实映射”与“实时交互”&…

Redis构建缓存服务器

环境信息: redis-master----192.168.12.135 redis-slave-1-----192.168.12.136 redis-slave-2-----192.168.12.137 单机版Redis 安装Redis yum install -y gcc make jemalloc jemalloc-devel gcc-c wget tcl yum groupinstall -y "Development Tools" wge…

vscode python debugger关闭编辑器内的变量值自动显示

vscode 的python debugger调试器的最新版本2025.8.0, 会默认把变量的值显示出来, 如下图所示关闭的方法: 打开vscode的settings.json, 左下角点击齿轮按钮, 选择setting(设置), 然后在右上角三个按钮最中间的那个(open setting json), 输入 "debug.inlineValues": &q…