前言

本篇章将会基chailit框架实现页面进行AI对话。

若没有自己的本地模型对话，需要查看专栏内的文章，或者点击链接进行学习部署

AI智能体（Agent）大模型入门【2】--基于llamaindx部署本地的聊天模型。-CSDN博客

后期篇章将会脱离chailit别人封装好的框架体系，而是使用vue实现创建自己的页面聊天。

那么现在，开始我们的学习吧。

安装chailint

想要自己去深入学习了解的可以通过官方文档链接

https://docs.chainlit.io/get-started/overview

没有耐心，想要快速开始的，那么跟上我的脚步开始快速开始创建。

首先要在控制安装它的包内容。

安装指令

pip install chainlit

注：

1.若安装失败，请注意一下自己的python解析器是否满足高于3.9版本

2.是否开启能够访问外网的加速软件。

创建中文语言环境

因为llamaindex不支持中文，需要我们自己去创建一个中文语言的环境。

为了简化你们去查询资料的内容，我这里已经有创建好的py文件了。

embeddings.py

from llama_cloud import HuggingFaceInferenceApiEmbedding
from llama_index.embeddings.huggingface import HuggingFaceEmbeddingdef embed_model_local_bge_small(**kwargs):embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-small-zh-v1.5",cache_folder="./embedding_cache",**kwargs)return embed_model

创建chailint页面客户端

需要创建一个app.py文件来进行创建。

导入模块包

# 导⼊chainlit库，⽤于构建和部署AI应⽤
import chainlit as cl
# 导⼊Settings类，⽤于配置llama_index的核⼼设置
from llama_index.core import Settings
# 导⼊SimpleChatEngine类，⽤于实现简单的聊天引擎
from llama_index.core.chat_engine import SimpleChatEngine
# 导⼊deepseek_llm，可能是⼀个⾃定义的或第三⽅的语⾔模型库
from llms import deepseek_llm,qwen_llm

然后定义两个异步函数，用于处理聊天机器人的启动和消息交互。

start()函数在聊天开始时初始化聊天引擎并发送欢迎消息

chat()函数处理用户消息并生成流式响应。

@cl.on_chat_start
async def start():Settings.llm = qwen_llm()chat_engine = SimpleChatEngine.from_defaults()cl.user_session.set("chat_engine", chat_engine)await cl.Message(author="Assistant",content="你好，我是AI智能助手，你可以向我提问任何问题。",).send()@cl.on_message
async def chat(message: cl.Message):query_engine = cl.user_session.get("chat_engine")msg = cl.Message(content="",author="Assistant")res = await cl.make_async(query_engine.stream_chat)(message.content)for token in res.response_gen:await msg.stream_token(token)await msg.send()