一、概述
目的:实现一个本地化部署的大模型,通过工作流对图像进行一些处理。基于此,我选择了Docker+Dify+Ollama的部署。
具体实现逻辑:Docker来运行dify,dify用来绘制大模型的工作流或者rag等,Ollama用来部署本地大模型,dify调用Ollama部署的大模型进行推理。
二、Docker安装部署
2.1 什么是Docker
Docker 是一项开源的容器化平台,它彻底改变了软件开发、部署和运行应用的方式。核心思想是:将应用及其所有依赖项打包在一个标准化的、轻量级的、可移植的“容器”中,从而确保应用可以在任何环境中以一致的方式运行。
Docker的核心概念包括镜像、容器和仓库,它们共同构成了Docker的生态系统。
- 镜像(Image):用来创建容器的模板,它是一个特殊的文件系统。可以将镜像理解为一个只读的模板,包含了运行某个应用所需的一切:代码、运行时环境、库、环境变量和配置文件。
- 容器(Container):容器是镜像的运行实例,它是独立运行的,与其他容器相互隔离。容器可以被创建、启动、停止、删除和暂停。容器的存储层与镜像的只读层相结合,形成了容器的文件系统。
- 仓库(Repository):用来存储和管理镜像的服务。开发者通过仓库实现镜像的分享,可以将自己创建的镜像推送到仓库中,也可以从仓库中拉取其他人分享的镜像。
总结:Docker 是一个强大的容器化平台,它通过将应用及其依赖打包成标准化的容器,解决了环境不一致、资源浪费、部署复杂等问题。它提供了轻量级、高效、可移植和隔离的运行环境,极大地提升了软件开发和运维的效率,是现代云计算、微服务和 DevOps 实践的核心技术之一。
2.2 windows系统下Docker的安装
第一步:安装:下载exe,然后双击运行
Windows/Mac建议使用Docker Desktop
官网链接:docker-desktop官网