华为云 Flexus+DeepSeek 征文｜华为云单机部署 Dify-LLM 开发平台全流程指南【服务部署、模型配置、知识库构建全流程】

文章目录

    • 华为云 Flexus+DeepSeek 征文｜华为云单机部署 Dify-LLM 开发平台全流程指南【服务部署、模型配置、知识库构建全流程】
      • 前言
        • 1、ModelArts Studio大模型开通
        • 2、Dify平台单机部署
        • 3、Dify平台模型供应商配置
        • 3、Dify平台模型供应商配置
        • 4、高质量知识库配置Embedding及Rerank模型
          • 4.1 部署Embedding及Rerank模型
          • 4.2 高质量知识库模型供应商配置
            • 4.2.1 ECS公网IP获取
            • 4.2.2 Ollama模型安装
            • 4.2.3 Xorbits Inference模型安装
      • 资源删除销毁
      • 华为云单机部署Dify平台
      • 总结

前言

本文通过华为云结合 Flexus 云服务器与 DeepSeek 大模型，为开发者提供了高效便捷的 Dify-LLM 开发平台单机部署方案，将从 ModelArts Studio 服务开通、Dify 平台自动化部署、DeepSeek 模型接入到高质量知识库的 Embedding 及 Rerank 模型配置，全流程详解如何快速构建可落地的 LLM 应用开发环境，助力个人开发者与团队低成本完成原型验证与场景化功能探索

1、ModelArts Studio大模型开通

1、领取开通在线推理提供服务，点击ModelArts Studio控制台

在这里插入图片描述

2、点击模型推理-在线推理

在这里插入图片描述

3、开通商用服务或者免费服务都可以，如果是体验使用可以暂时使用免费服务，等到有更高的需求可以使用商用服务，另外说明商用服务是按Token计费

  • 免费服务开通：仅适合用于体验模型，且受严格的速率限制。平台可能会不定时调整其适用模型、免费额度、有效期等内容

在这里插入图片描述

  • 商用服务：将为您提供商用级别的推理API服务，开放后您可以获取付费API服务

在这里插入图片描述

2、Dify平台单机部署

1、部署Dify-LLM应用开发平台

部署方案云服务器单机部署CCE 容器高可用部署
适用场景规模较小、对复杂性要求低的场景，满足基本公网访问和安全防护需求对应用可靠性、扩展性和性能有较高要求的大型场景
核心资源1 台华为云 Flexus 云服务器 X 实例、1 个弹性公网 IP、1 个安全组多个弹性公网 IP、弹性负载均衡 ELB、NAT 网关、多台 FlexusX 实例、云容器引擎 CCE Turbo 集群、对象存储服务 OBS、分布式缓存服务 Redis、云数据库 RDS for PostgreSQL 实例、云搜索服务 CSS OpenSearch 集群、4 个安全组
架构特点简单直接，单机部署高可用、可扩展，通过多组件协同构建功能全面的架构
关键能力基础公网访问、基础安全防护负载均衡、高可用保障、分布式存储与缓存、数据库服务、搜索服务、多实例协同扩展
复杂性低高
资源规模单一实例 + 基础网络资源多类型、多实例、多服务组合的资源集群
可靠性保障依赖单实例稳定性通过集群架构、负载均衡和多实例部署实现高可用性，降低单点故障风险
扩展性扩展性有限，需通过单机升级实现资源扩容支持按需横向扩展实例数量，通过容器集群灵活调整资源规模，满足业务增长需求

在这里插入图片描述

2、选择模板：使用一键部署云服务器单机部署，如下页面默认配置，直接下一步

在这里插入图片描述

3、参数配置：按模板要求对部分资源加密的勾选取消（默认是勾选，如果不取消下一步的时候可能会报错），配置dify_version默认是最新版本更改到0.15.2版本，配置ecs_password（云服务器密码，长度为8-26位，密码至少包含大写字母、小写字母、数字和特殊字符（!@$%^-_=+[{}]:,./?）中的三种。管理员账户默认root）

在这里插入图片描述

4、资源栈设置：开启回滚设置（开启回滚表示操作失败时，会自动回滚至系统所保存的上一个成功的资源状态。创建后可在资源栈详情页面修改），删除保护可以根据需求开启（防止资源栈被意外删除。创建后可在资源栈详情页面修改）

在这里插入图片描述

5、配置确认，直接点击创建执行计划

在这里插入图片描述

在这里插入图片描述

6、部署-执行

在这里插入图片描述

在这里插入图片描述

7、点击事件观察部署情况，看是否有报错，如果没有等到部署完成即可（预计10分钟左右，这个过程中代表华为云正在创建 1 台华为云 Flexus 云服务器 X 实例，搭配 1 个弹性公网 IP 和 1 个安全组，创建完成后就可以通过浏览器链接直接访问Dify - LLM 应用开发平台）

在这里插入图片描述

8、基本信息页面查看，是否部署成功，显示部署成功即可点击输出，复制浏览器访问链接来访问Dify - LLM 应用开发平台

在这里插入图片描述

在这里插入图片描述

9、通过浏览器访问链接来访问Dify - LLM 应用开发平台，设置管理员账户Dify - LLM 应用开发平台

在这里插入图片描述

10、通过设置的管理员账户信息来登录

在这里插入图片描述

11、登录后显示如下页面，代表Dify - LLM 应用开发平台已经部署成功

在这里插入图片描述

3、Dify平台模型供应商配置

1、Dify - LLM 应用开发平台模型供应商配置（接入DeepSeek）

在这里插入图片描述

2、模型供应商中找到OpenAI-API-compatible并且安装

在这里插入图片描述

3、安装成功如下所示

在这里插入图片描述

4、DeepSeek模型供应商配置（OpenAI-API-compatible供应商）

在这里插入图片描述

5、配置页面

在这里插入图片描述

6、API Key获取：ModelArts Studio控制台，点击API KEY管理，创建自己的API KEY，标签和描述根据自己的填即可，获取到自己的API KEY注意保存（只会显示一次自己的API KEY）

在这里插入图片描述

在这里插入图片描述

7、自定义 API endpoint 地址获取：ModelArts Studio控制台，点击在线推理，选择自己的服务，商用服务或者免费服务的用法相同，点击调用说明获取自定义API endpoint 地址

在这里插入图片描述

8、点击OpenAI SDK复制API接口信息，这个就是自己的API endpoint 地址

在这里插入图片描述

9、Dify - LLM 应用开发平台填写获取到的API KEY和自定义 API endpoint 地址和模型名称

在这里插入图片描述

10、点击保存，页面会显示修改成功，配置成功页面如下

在这里插入图片描述

3、Dify平台模型供应商配置

1、Dify - LLM 应用开发平台模型供应商配置（接入DeepSeek）

在这里插入图片描述

2、模型供应商中找到OpenAI-API-compatible并且安装

在这里插入图片描述

3、安装成功如下所示

在这里插入图片描述

4、DeepSeek模型供应商配置（OpenAI-API-compatible供应商）

在这里插入图片描述

5、配置页面

在这里插入图片描述

6、API Key获取：ModelArts Studio控制台，点击API KEY管理，创建自己的API KEY，标签和描述根据自己的填即可，获取到自己的API KEY注意保存（只会显示一次自己的API KEY）

在这里插入图片描述

在这里插入图片描述

7、自定义 API endpoint 地址获取：ModelArts Studio控制台，点击在线推理，选择自己的服务，商用服务或者免费服务的用法相同，点击调用说明获取自定义API endpoint 地址

在这里插入图片描述

8、点击OpenAI SDK复制API接口信息，这个就是自己的API endpoint 地址

在这里插入图片描述

9、Dify - LLM 应用开发平台填写获取到的API KEY和自定义 API endpoint 地址和模型名称

在这里插入图片描述

10、点击保存，页面会显示修改成功，配置成功页面如下

在这里插入图片描述

4、高质量知识库配置Embedding及Rerank模型
4.1 部署Embedding及Rerank模型

1、登录华为云解决方案实践，选择快速部署Embedding及Rerank模型

在这里插入图片描述

2、点击进入-下滑至方案架构

在这里插入图片描述

3、区域选择

成本预算：3~6元（按需计费：Flexus云服务器X实例2.28元/小时，弹性公网IP EIP0.80元/GB，体验本方案预计成本不超过6元）

在这里插入图片描述

4、选择模板

  • 默认配置下一步

在这里插入图片描述

5、参数配置

  • 按模板要求对部分资源加密取消勾选
  • ecs_password：云服务器密码，长度为8-26位，密码至少必须包含大写字母、小写字母、数字和特殊字符（!@$%^-_=+[{}]:,./?）中的三种、

在这里插入图片描述

6、资源栈设置

开启回滚设置：开启回滚表示操作失败时，会自动回滚至系统所保存的上一个成功的资源状态。创建后可在资源栈详情页面修改。

在这里插入图片描述

7、配置确认

在这里插入图片描述

8、创建执行计划

在这里插入图片描述

9、部署

在这里插入图片描述

10、执行计划

在这里插入图片描述

11、基本信息中等待状态改变为部署完成即可完成部署

在这里插入图片描述

在这里插入图片描述

4.2 高质量知识库模型供应商配置
4.2.1 ECS公网IP获取

1、ECS公网IP获取

在这里插入图片描述

在这里插入图片描述

4.2.2 Ollama模型安装

1、安装bge-m3（embedding）和bge-reranker-v2-m3 （reranker）模型供应商

  • Ollama安装

在这里插入图片描述

在这里插入图片描述

2、Ollama模型供应商配置

在这里插入图片描述

  • 模型类型：Text Embedding
  • 模型名称：bge-m3
  • 基础URL：http://ECS公网IP:11434（如上前提有获取流程）
  • 端口号：11434

在这里插入图片描述

3、Xorbits Inference模型安装

在这里插入图片描述

在这里插入图片描述

4.2.3 Xorbits Inference模型安装

4、Xorbits Inference模型配置

模型类型： Rerank

模型名称与模型UID均填写：bge-reranker-v2-m3

服务器URL：http://ECS公网IP:9997

端口号：9997

在这里插入图片描述

在这里插入图片描述

5、模型成功配置

在这里插入图片描述

如上即完成了华为云单机部署以及高质量知识库配置Embedding及Rerank模型的创建和配置，后续即可直接在华为云Dify平台中，直接创建高质量知识库，经济知识库默认配置，不需要特殊创建过程。

资源删除销毁

Tip：

  • 删除资源栈的流程官方文档比较详细可以参考官方文档
  • 资源删除销毁单机部署和CCE集群高可用部署的方式相同

1、进入资源编排服务控制台，找到刚创建成功的资源栈，单击行操作列的删除，页面弹出确认删除框，在输入框中再次输入Delete，单击确定，即可删除

在这里插入图片描述

2、如果启用删除保护的情况下删除资源堆栈，则会显示错误消息

在这里插入图片描述

3、只需要将删除保护关闭再删除即可（此处我并未开启所以不做演示）

在这里插入图片描述

华为云单机部署Dify平台

华为云单机部署 Dify 平台，15 分钟即可自动化完成相关依赖配置，便捷高效。借助 Flexus X 实例，具备高性能架构与场景化加速能力，成本上有柔性算力革新，还提供旗舰级可靠性保障 ，适合个人开发者或团队快速体验 Dify 基础功能，进行小规模试验与原型验证

✅部署便捷：利用华为云一键部署功能，15 分钟可自动化完成 VPC、OBS 等依赖配置，较手动部署效率提升 90%。无需复杂的多实例或高可用架构配置，适合个人开发者或团队快速体验基本功能，10 分钟内即可启动，便于模型调试、小规模应用验证

✅性能卓越：以华为云 Flexus X 实例为算力底座，基于擎天架构，单核性能较传统 x86 实例优化 60%，整体算力达业界 1.6 倍。借助 X - Turbo 引擎，PostgreSQL 查询 TPS 达 1200，是传统实例 6 倍，Redis 延迟 < 10ms，向量检索速度提升至 5000 条 / 秒，模型推理吞吐量增加 35%，支持单实例 15 路并发查询

✅安全可靠：依托华为云跨可用区（AZ）容灾机制，45 秒内可完成故障迁移，可用性达 99.995%。通过 OBS AES - 256 加密、SSL/TLS 链路保护满足等保 2.0 合规，以刚性 SLA 承诺，未达标最高获 300% 资源券赔偿

总结

本指南完整覆盖华为云单机部署 Dify-LLM 开发平台的全流程，通过 Flexus 云服务器 X 实例的一键自动化部署，15 分钟即可完成从环境搭建到模型配置的全链路操作，单核性能较传统架构提升 60% 的同时，成本低至 0.95 元 / 小时。结合 DeepSeek 模型接入与 bge 系列 Embedding、Rerank 模型的高效配置，不仅实现向量检索速度 5000 条 / 秒、PostgreSQL 查询 TPS 达 1200 的高性能表现，更通过跨可用区容灾、AES-256 加密等机制保障系统可靠性。该方案尤其适合中小团队快速验证 LLM 应用原型，且支持平滑扩展至 CCE 集群，为规模化部署奠定基础。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.pswp.cn/diannao/88530.shtml
繁体地址，请注明出处：http://hk.pswp.cn/diannao/88530.shtml
英文地址，请注明出处：http://en.pswp.cn/diannao/88530.shtml

如若内容造成侵权/违法违规/事实不符，请联系英文站点网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

✨通义万相 2.1（Wan2.1）环境搭建指南：基于 CUDA 12.4 + Python 3.11 + PyTorch 2.5.1 GPU加速实战

✨通义万相 2.1（Wan2.1）环境搭建指南：基于 CUDA 12.4 + Python 3.11 + PyTorch 2.5.1 GPU加速实战

&#x1f680;【超详细】基于 CUDA 12.4 Python 3.11 构建 Wan2.1 项目的集成推理环境&#xff08;含 PyTorch 2.5.1 GPU 安装教程&#xff09; 本文将一步一步带你搭建一个可用于构建和运行 Wan2.1 的深度学习环境&#xff0c;完全兼容 CUDA 12.4&#xff0c;并基于官方镜像 …
阅读更多...
PROFIBUS DP转ETHERNET/IP在热电项目中的创新应用

PROFIBUS DP转ETHERNET/IP在热电项目中的创新应用

在热电项目中&#xff0c;多种设备的高效协同是保障能源稳定供应的关键。PROFIBUS DP与ETHERNET/IP两种工业通信协议因特性不同而应用场景各异。通过协议转换技术实现JH-PB-EIP疆鸿智能PROFIBUS DP转ETHERNET/IP&#xff0c;可整合西门子PLC与电力仪表、变频器等设备&#xff0…
阅读更多...
精准把脉 MySQL 性能！xk6-sql 并发测试深度指南

精准把脉 MySQL 性能！xk6-sql 并发测试深度指南

在数据库性能测试领域&#xff0c;xk6-sql凭借其强大的功能和灵活性&#xff0c;成为众多开发者和测试人员的得力工具。它能够模拟高并发场景&#xff0c;精准测试数据库在不同负载下的性能表现。然而&#xff0c;在一些网络受限的环境中&#xff0c;实现xk6-sql的离线安装以及…
阅读更多...
【文件】Linux 内核优化实战 - fs.inotify.max_user_instances

【文件】Linux 内核优化实战 - fs.inotify.max_user_instances

目录 一、参数作用与原理1. 核心功能2. 应用场景 二、默认值与影响因素1. 默认配置2. 影响因素 三、调整方法与示例1. 查看当前值2. 临时修改&#xff08;生效至系统重启&#xff09;3. 永久修改&#xff08;修改配置文件&#xff09;4. 合理值建议 四、常见报错与解决方案1. 报…
阅读更多...
c++系列之特殊类的设计

c++系列之特殊类的设计

&#x1f497; &#x1f497; 博客:小怡同学 &#x1f497; &#x1f497; 个人简介:编程小萌新 &#x1f497; &#x1f497; 如果博客对大家有用的话&#xff0c;请点赞关注再收藏 &#x1f31e; 仅在堆上创建对象的类 将类的构造函数&#xff0c;拷贝构造私有,防止在栈上生…
阅读更多...
SpringBoot的国际化

SpringBoot的国际化

国际化&#xff08;internationalization&#xff09;是设计容易适应不同区域要求的产品的一种方式。它要求从产品中抽离所有地域语言元素。换言之&#xff0c;应用程序的功能和代码设计考虑了在不同地区运行的需要。开发这样的程序的过程&#xff0c;就称为国际化。 那么当我…
阅读更多...
prometheus+grafana+Linux监控

prometheus+grafana+Linux监控

prometheusgrafanaLinux监控 环境说明 操作前提&#xff1a; 先去搭建Docker部署prometheusgrafana...这篇文章的系统 Docker部署prometheusgrafana...的参考文章&#xff1a; Docker部署prometheusgrafana…-CSDN博客 Linux部署docker参考文章&#xff1a; 02-Docker安装_doc…
阅读更多...
文档处理控件Aspose.Words教程：在.NET中将多页文档转换为单个图像

文档处理控件Aspose.Words教程：在.NET中将多页文档转换为单个图像

在Aspose.Words for .NET 25.6版本中&#xff0c;我们引入了一项新功能&#xff0c;允许您将多页文档导出为单个光栅图像。当您需要将文档作为单个可视文件共享或显示时&#xff0c;此功能非常有用。 Aspose.Words for .NET 25.6 的新功能 在 25.6 版之前&#xff0c;将多页文…
阅读更多...
vuex4.0用法

vuex4.0用法

VUEX 状态管理&#xff0c;多个组件有共享数据的时候&#xff0c;就叫状态管理 什么情况下会用到vuex , 如果你不知道vuex的情况也能完成你的需求&#xff0c;就说你的项目中不需要用到状态管理。 组件层级比较复杂的时候&#xff0c;还是用组件传值的方式来传值&#xff0c;…
阅读更多...
2025.6.24总结

2025.6.24总结

今天发生了两件事&#xff0c;这每件事情都足以影响我的工作状态。 1.团队中有人要转岗 这算是最让我有些小震惊的事件了。我不明白&#xff0c;那个同事干得好好的&#xff0c;为啥会转岗&#xff0c;为啥会被调到其他团队。虽然团队有正编&#xff0c;有od,但我自始自终觉得…
阅读更多...
状态模式详解

状态模式详解

概述 结构设计类似责任链模式&#xff0c;但是在各个状态进行遍历的过程中&#xff0c;更注重的是条件的判断&#xff0c;只有符合条件的状态才能正常匹配进行处理。条件不成功的会立即切换到下一个状态。 有限状态机 状态机一般指的是有限状态机&#xff08;FSM&#xff1a…
阅读更多...
Lua 调试(Debug)

Lua 调试(Debug)

Lua 调试(Debug) 引言 Lua 是一种轻量级的编程语言&#xff0c;广泛应用于游戏开发、嵌入式系统、脚本编写等领域。在 Lua 开发过程中&#xff0c;调试是确保程序正确运行的重要环节。本文将详细介绍 Lua 调试的基本方法、常用工具以及调试技巧&#xff0c;帮助开发者提高编程…
阅读更多...
Windows安装Emscripten‌/emsdk（成功）

Windows安装Emscripten‌/emsdk（成功）

安装git安装python 不要自行下载版本&#xff0c;先卸载其他版本的python。 使用管理员打开cmd&#xff0c;输入python3&#xff0c;直接跳转到应用商店&#xff0c;安装即可。 为什么一定要这么安装&#xff1f;好像是跟路径有关。 下载emsdk git clone https://github.c…
阅读更多...
AI网页部署在本地_windows

AI网页部署在本地_windows

用bolt.new写了一个网页&#xff0c;下载ZIP至本地 以下是在 Windows 上本地运行你用 Node.js 搭建的网页服务&#xff0c;并在浏览器中访问的常见流程&#xff1a; 1、安装 Node.js 访问官网 Node.js — Run JavaScript Everywhere &#xff0c;下载适合 Windows 的 LTS 版本…
阅读更多...
Linux sudo命令

Linux sudo命令

sudo是一个常用的Linux命令&#xff0c;用于以超级用户的权限执行命令。下面是对sudo命令的介绍&#xff1a; sudo命令的作用&#xff1a; sudo允许普通用户以超级用户&#xff08;root&#xff09;的身份执行特定命令或访问特定文件。它提供了一种安全且可控制的方式&#xf…
阅读更多...
邮件合并----批量从excel表中导出数据到word中

邮件合并----批量从excel表中导出数据到word中

文章目录 前言一、操作流程1. 打开word&#xff0c;开始邮件合并->邮件合并分布向导2. 开始邮件合并&#xff0c;一共6步3. 选择全部&#xff0c;点击确认&#xff0c;即可生成Excel表中244条记录&#xff0c;也就是244页。 总结 前言 涉及到将学生的姓名、学号、档案编号、…
阅读更多...
活动安排贪心算法

活动安排贪心算法

输入说明 n      —— 活动数量 s[1…n]  — 第 i 个活动的开始时间 (start) f[1…n]  — 第 i 个活动的结束时间 (finish) 前置要求&#xff1a;数组已按 f 从小到大排好序 &#xff08;若没排&#xff0c;先调用 sortByFinishTime()&#xff0c;复杂度 O(n log …
阅读更多...
Mysql8启用日志审计插件

Mysql8启用日志审计插件

概述 等保要求&#xff0c;数据库启用日志审计。Mysql8上面使用开源插件audit-plugin-for-mysql&#xff08;MariaDB的审计插件不用折腾了&#xff0c;无论直接使用还是编译使用&#xff0c;在Mysql8上都不行&#xff09; 插件下载 日志审计插件下载地址&#xff1a; https:…
阅读更多...
机器学习-线性模型

机器学习-线性模型

目录 线性模型 1、线性回归&#xff1a; 2、对数几率回归&#xff1a; 3、线性判别分析&#xff1a; 4、多分类学习&#xff1a; 5、类别不平衡问题&#xff1a; 基本数理知识补充&#xff1a; 损失函数&#xff1a; 凹凸函数 梯度下降 线性模型 线性模型形式简单、易…
阅读更多...
Git上传代码如何解决Merge冲突

Git上传代码如何解决Merge冲突

示例 解决方案 1、第一步切到本地的主分支 git checkout master2、拉取线上最新的代码 git pull3、切到本地自己的分支 gco feat-xx4、将代码从master变基&#xff08;移动/合并&#xff09;过来 git rebase master5、手动解决冲突 <<<<<<< HEAD 本…
阅读更多...
最新文章

Copyright @ 2022~2023