要实现基于llm的web访问和交互,需支持对llm的访问和对网络搜索的调用。

这里使用ollama llm兼容openai sdk访问;使用proxyless-llm-websearch模拟网络搜索。

1 ollama本地部署

假设ollama已经部署,具体过程参考

在mac m1基于ollama运行deepseek r1_mac m1 ollama-CSDN博客

mac m1计算慢,所以使用4b的小模型。

ollama pull qwen3:4b

ollama 支持openai sdk的访问,具体参考

如何用OpenAI SDK调用Ollama LLM-CSDN博客

2 web资源访问 & 交互

proxyless-llm-websearch无需代理,这里用于支持对web搜索引擎的调用。

1)下载proxyless-llm-websearch

git clone https://github.com/itshyao/proxyless-llm-websearch.git

2)配置proxyless-llm-websearch

cd proxyless-llm-websearch

由于本地使用ollama部署了qwen3:4b,所以支持使用openai api直接访问qwen3:4b。

具体配置在.env

vim .env

修改后OPENAI相关配置结果如下,包括openai base和embedding。

OPENAI_API_KEY=xxx
OPENAI_BASE_URL=http://localhost:11434/v1
MODEL_NAME=qwen3:4b

EMBEDDING_MODEL_NAME=bge-m3:latest
EMBEDDING_API_KEY=xxx
EMBEDDING_BASE_URL=http://localhost:11434/v1

3)安装依赖

pip install -r requirements.txt
python -m playwright install

4)gradle示例

python gradio_demo.py

成功运行后,就可以通过浏览器访问验证了,链接如下

http://127.0.0.1:7860/

输入“广州的天气”,经过一阵计算,结果如下。

mac m1速度慢,需要访问网络搜索,处理搜索结果,整体计算过程较长。

另外,小模型能力有限,最终整理结果相对偏离预期。

reference

---

ollama qwen3

https://ollama.com/library/qwen3

proxyless-llm-websearch

https://github.com/itshyao/proxyless-llm-websearch/tree/main

LLM_Web_search

https://github.com/mamei16/LLM_Web_search

DeepSeek R1本地化部署+web端访问+LLM交互平台

https://zhuanlan.zhihu.com/p/28344252876

LLM_Web_Search 项目安装和配置指南

https://blog.csdn.net/gitblog_07214/article/details/142227878

🧠 无需代理的 LLM 网络搜索引擎开源了!

https://zhuanlan.zhihu.com/p/1902806926141686494

agent-search

https://www.dongaigc.com/p/SciPhi-AI/agent-search

MCP server 开发半入门——"hello world"

https://zhuanlan.zhihu.com/p/1895767734287049432

model context protocol

https://github.com/modelcontextprotocol/python-sdk

MCP 协议关于tool 的几个基础问题

https://zhuanlan.zhihu.com/p/1898303391643448923

mcp-weather-sample

https://github.com/aobao32/mcp-weather-sample.git

搭建简易本地MCP服务器

https://www.imooc.com/article/379905

大模型 RAG 基础:信息检索、文本向量化及 BGE-M3 embedding 实践(2024)

https://arthurchiao.art/blog/rag-basis-bge-zh/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/bicheng/92676.shtml
繁体地址,请注明出处:http://hk.pswp.cn/bicheng/92676.shtml
英文地址,请注明出处:http://en.pswp.cn/bicheng/92676.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

自动驾驶数据闭环

自动驾驶的数据闭环是支撑算法持续迭代的核心机制,其本质是通过“数据采集-处理-训练-部署-反馈”的循环,不断优化模型对复杂场景的适应性。由于自动驾驶数据量极大(单车日均TB级)、场景多样(从常规道路到极端边缘场景…

二十、MySQL-DQL-条件查询

DQL-条件查询代码&#xff1a; DQL-条件查询 -- 1.查询 姓名 为 杨逍 的员工 select * from tb_emp where name 杨逍; -- 2.查询 id小于等于5 的员工信息 select * from tb_emp where id < 5; -- 3.查询 没有分配职位 的员工信息 select * from tb_emp where job is null; …

Mac下安装Conda虚拟环境管理器

Conda 是一个开源的包、环境管理器&#xff0c;可以用于在同一个机器上创建不同的虚拟环境&#xff0c;安装不同Python 版本的软件包及其依赖&#xff0c;并能够在不同的虚拟环境之间切换 Conda常通过安装Anaconda/Miniconda来进行使用。一般使用Miniconda就够了。Miniconda 是…

Android 中解决 Button 按钮背景色设置无效的问题

1、问题描述 在布局文件中有两个 Button 按钮&#xff0c;为每个按钮设置不同的背景色&#xff0c;但是显示出来的效果都是紫色的&#xff0c;跟设置的颜色不同&#xff0c;布局文件如下所示&#xff1a;<Buttonandroid:id"id/button_cancel"android:layout_width…

云服务器--阿里云OSS(2)【Springboot使用阿里云OSS】

&#x1f4d2; 阿里云 OSS Spring Boot 异步任务&#xff08;直接存 OSS&#xff09; 1. 项目结构 src/main/java/com/example/demo├── controller│ └── UploadController.java // 接收上传请求├── service│ ├── AsyncUploadService.java // 异步上传…

get请求中文字符参数乱码问题

第一种方法 服务器默认的传参编码格式是ISO8859-1,所以前端直接原样字符串请求&#xff0c;到后端解析一下就得到正确字符 String fileName request.getParameter("fileName"); fileName new String(fileName.getBytes("ISO8859-1"),"UTF-8");…

C语言(10)——结构体、联合体、枚举

关于C语言零基础学习知识&#xff0c;小编有话说&#xff0c;各位看官敬请入下面的专栏世界&#xff1a;打怪升级之路——C语言之路_ankleless的博客-CSDN博客 Hi&#xff01;冒险者&#x1f60e;&#xff0c;欢迎闯入 C 语言的奇幻异世界&#x1f30c;&#xff01; 我是 Ankle…

海康威视摄像头实时推流到阿里云公网服务器(Windows + FFmpeg + nginx-rtmp)

海康威视摄像头实时推流到阿里云公网服务器&#xff08;Windows FFmpeg nginx-rtmp1. 步骤总览2. 阿里云 ECS&#xff08;Linux&#xff09;配置2.1 开放端口2.2 安装 nginx-rtmp3. Windows 电脑端配置3.1 安装 FFmpeg3.1.1 官网/镜像下载&#xff1a;3.1.2 解压后将 bin 目录…

基础网络网路层——IPV4地址

在IP网络上&#xff0c;如果用户要将一台计算机连接到Internet上&#xff0c;就需要向因特网服务提供方ISP&#xff08;Internet Service Provider&#xff09;申请一个IP地址。IP地址是在计算机网络中被用来唯一标识一台设备的一组数字。IPv4地址由32位二进制数值组成&#xf…

技术速递|GPT-5 正式上线 Azure AI Foundry

AI 应用正在经历一场深刻变革——对企业来说&#xff0c;仅仅“能聊天”早已不够&#xff0c;生成内容、逻辑推理、落地生产&#xff0c;这些才是新时代对 AI 能力的真正考验。 今天&#xff0c;我们非常激动地宣布&#xff0c;OpenAI 最新旗舰大模型 GPT-5 正式上线 Azure AI …

Logistic Regression|逻辑回归

----------------------------------------------------------------------------------------------- 这是我在我的网站中截取的文章&#xff0c;有更多的文章欢迎来访问我自己的博客网站rn.berlinlian.cn&#xff0c;这里还有很多有关计算机的知识&#xff0c;欢迎进行留言或…

三极管在电路中的应用

1、信号放大&#xff08;电压放大&#xff09; 应用场景 &#xff1a;麦克风声音放大、耳机驱动、广播信号接收等音频设备 原理解析 &#xff1a; 想象三极管如同一个精准的水龙头&#xff1a; 基极&#xff08;B&#xff09;电流如同拧动阀门的微弱力量&#xff08;输入信号&a…

Redis 事务机制

文章目录一、什么是事务&#xff1f;二、事务相关操作总体认识基本操作流程watch 操作演示watch 原理一、什么是事务&#xff1f; Redis 的事务和 MySQL 的事务概念上是类似的. 都是把⼀系列操作绑定成⼀组. 让这⼀组能够批量执⾏. Redis 的事务和 MySQL 事务的区别&#xff1…

Mybatis学习之自定义映射resultMap(七)

这里写目录标题一、准备工作1、新建maven工程2、准备两张表3、建立mapper、pojo、映射文件mapper接口pojoxxxMapper.xml二、resultMap处理字段和属性的映射关系1、用起别名的方式保证字段名与属性名一致2、逐一设置resultMap映射关系3、配置mapUnderscoreToCamelCase三、多对一…

数学学习 | 高数、线代、概率论及数理统计荐书

注&#xff1a;本文为 “数学学习书目推荐” 相关合辑。 略作重排&#xff0c;如有内容异常&#xff0c;请看原文。 高等数学、线性代数及概率论与数理统计领域推荐书目 西湖边的卡夫卡 编辑于 2023-09-19 13:26 7495 人赞同了该回答 数学具有内在的美学属性&#xff0c;但并非…

【LLM实战|langgraph】langgrpah基础

every blog every motto: You can do more than you think. https://blog.csdn.net/weixin_39190382?typeblog 0. 前言 langgraph 基础 1. Chatbot实现 # !pip install langchain # !pip install langgraphfrom typing import Annotatedfrom typing_extensions import Typ…

大疆无人机使用eport连接Jetson主板实现目标检测

所需硬件设备如下&#xff1a; 实现原理&#xff1a; 视频流获取&#xff1a;从大疆无人机获取实时视频流。数据传输&#xff1a;将视频流传输至 Jetson 平台。目标检测处理&#xff1a;在 Jetson 上运行目标检测算法对传入的视频帧进行分析 EPort开发套件 大疆官网给出了…

Typora激活与使用

Typora下载 下载地址&#xff1a;Typora 官方中文站 Typora&#xff08;1.9.5及其以前的版本&#xff09; 工具&#xff1a;待补充 流程 1.解压工具 2.将license-gen.exe、node_inject.exe两个文件放于typora安装目录下 3.在typora安装目录下运行cmd&#xff08;可以打开…

图片拆分工具,自定义宫格切割

软件介绍 今天推荐一款实用的图像处理工具——lmage Splitter&#xff0c;支持图像拆分与格式互转功能&#xff0c;无广告干扰&#xff0c;操作简单流畅&#xff0c;满足多样化图片编辑需求。 软件优势 该工具为绿色版设计&#xff0c;无需安装即可直接运行&#xff0c;下载…

23种设计模式解析--创建型模式

创建型模式&#xff08;造物主的智慧&#xff09; 单例模式 模式定义 单例模式&#xff08;Singleton&#xff09;确保一个类仅有一个实例&#xff0c;并提供该实例的全局访问点。核心思想是通过私有化构造函数和静态成员实现受控的对象创建。核心实现要点 私有构造函数&#x…