把标量到张量、点积到范数全串起来,帮你从 0 → 1 搭建 AI 数学底座 🚀

1 标量:深度学习的最小单元

标量 就是一维空间里的“点”,只有大小没有方向。例如温度 52 °F、学习率 0.001。

  • 记号:普通小写 x;域:x ∈ ℝ
  • 代码:torch.tensor(3.0)
    在网络中,标量常作为超参数单一输出出现(如二分类概率)。它让后续向量、矩阵的世界有了可度量的起点。

在这里插入图片描述

📊 标量由只有一个元素的张量表示。下面的代码将实例化两个标量,并执行一些熟悉的算术运算,即加法、乘法、除法和指数。

2 向量:特征打包者

把多个标量排成一列就是 向量。大小 + 方向 = 能描述“状态”。

  • 记号:粗体小写 x,维度 nx ∈ ℝⁿ
  • 用途:一条用户画像、一帧心电图、一张词嵌入
  • 代码:torch.arange(4)tensor([0,1,2,3])
    向量让模型一次性“看见”多特征,用长度(维度)衡量信息量 👍。

3 矩阵:表格数据的万能容器

矩阵 是“批量向量”或“二维表”。

  • 记号:粗体大写 A ∈ ℝ^{m×n}
  • 行表示样本,列表示特征;深度学习 mini-batch 自然采用行批次
  • 核心操作:转置 A.T、索引 A[i,j]、对称性检查 A==A.T
    矩阵让 GPU 并行冲浪,线性层的权重本质就是矩阵乘法权值🎯。

📊 可以通过行索引(i)和列索引(j)来访问矩阵中的标量元素,

4 张量:多维世界的坐标系

再在矩阵外加轴,就得到 张量

  • 3D 图像:(C,H,W);视频:(T,C,H,W)
  • 代码:torch.arange(24).reshape(2,3,4)
    张量是 PyTorch 的一等公民,支持广播切片视图变换,让高阶数据和算子自然对齐。

在这里插入图片描述

📊 张量是描述具有任意数量轴的n维数组的通用方法。例如,向量是一阶张量,矩阵是二阶张量。张量用特殊字体的大写字母表示(例如,X、Y和Z)

5 按元素运算与 Hadamard 积:并行的力量

同形状张量可逐元素加减乘除:

  • Hadamard 积 A ⊙ B = A * B → 特征级交互
  • 标量 + 张量:自动广播,不改变形状
    GPU 核心一次算 N 个元素,秒杀循环,真正体现“向量化编程”🔥。

在这里插入图片描述

📊 两个矩阵的按元素乘法称为Hadamard积(Hadamard product)(数学符号⊙)

6 降维:从海量数据中找平均

sum / mean / cumsum 可沿指定轴“折叠”张量:

  • A.sum(axis=0) → 列汇总;keepdims=True 保维度
  • 用于 softmax 归一化、特征池化、全局平均池化
    降维技术让模型聚焦信息密度,减小参数量同时抑制过拟合。

7 点积:度量相似度的核心操作

两向量 x·y = Σ xi yi

  • 加权和(权重非负且和为1)

  • 余弦相似度(单位向量时)

  • 代码:torch.dot(x,y)(x*y).sum()
    点积是注意力机制、Word2Vec 的基石,对齐“相关性”就靠它。

    点积的本质是相似性,余弦相似度的本质是方向相似性,因为余弦是单位向量的点积,规范化消除了长度影响。

在这里插入图片描述

📊 给定两个向量x, y ,它们的点积是相同位置的按元素乘积的和

8 矩阵-向量积:线性变换的快速电梯

Axx ∈ ℝⁿ 变成 ℝᵐ

  • 每行 aᵢ 与 x 点积,得到新向量元素
  • PyTorch:torch.mv(A,x)
    这是全连接层 forward 的数学本质,也能表示旋转、缩放等几何变换。

9 矩阵-矩阵乘法:批量线性映射

AB 可看作 m 次矩阵-向量乘再拼接:

  • 形状要求:A(n×k) · B(k×m) → C(n×m)
  • 代码:torch.mm(A,B)
    矩阵乘是多头注意力、卷积的幕后英雄,使并行度再上层楼。

在这里插入图片描述

📊 矩阵‐矩阵乘法AB看作简单地执行m次矩阵‐向量积,并将结果拼接在一起,形成一个n × m矩阵

10 范数:给向量量身定做的尺子

  • L2 范数 ∥x∥₂ = √Σ xi² → 距离、正则化;torch.norm(x)
  • L1 范数 ∥x∥₁ = Σ|xi| → 稀疏性,抗离群

向量的范数是表示一个向量有多大

欧几里得距离就是L2范数 代表真实距离 用于kmeans算法等 余弦相似度用于文本相似性 因为它代表方向

范数和 目标函数 密切相关:L2 正则抑制大权重,L1 促稀疏,在深度学习中我们经常试图解决优化问题:最大化分配给观测数据的概率; 最小化预测和真实观测之间的距离。用向量表示物品(如单词、产品或新闻文章),以便最小化相似项目之间的距离,最大化不同项目之间的距离。目标,或许是深度学习算法最重要的组成部分(除了数据),通常被表达为范数。

概念公式/操作实战意义
标量c = 5/9(f-32)超参数/单输出
向量x ∈ ℝⁿ用户画像
矩阵A ∈ ℝ^{m×n}批次数据
张量(N,C,H,W,…)图像/视频
Hadamard 积A⊙B特征交互
降维sum/mean池化归一
点积x·y相似度
范数∥x∥₁/₂/ₚ正则化

📊 上表浓缩 8 大核心要素,横向对照“公式 → 作用 → 应用”,帮你一眼锁定线性代数在深度学习中的落地场景。读表时先关注左列概念,再往右看公式和实战意义

                 | ∥x∥₁/₂/ₚ        | 正则化     |

📊 上表浓缩 8 大核心要素,横向对照“公式 → 作用 → 应用”,帮你一眼锁定线性代数在深度学习中的落地场景。读表时先关注左列概念,再往右看公式和实战意义

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/diannao/90386.shtml
繁体地址,请注明出处:http://hk.pswp.cn/diannao/90386.shtml
英文地址,请注明出处:http://en.pswp.cn/diannao/90386.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

OpenGL ES 纹理以及纹理的映射

文章目录开启纹理创建纹理绑定纹理生成纹理纹理坐标图像配置线性插值重复效果限制拉伸完整代码在 Android OpenGL ES 中使用纹理(Texture)可以显著提升图形渲染的质量和效率。以下是使用纹理的主要好处: 增强视觉真实感 纹理可以将复杂的图像…

从金字塔到个性化路径:AI 正在重新定义学习方式

几十年来,我们的教育系统始终遵循着一条熟悉的路线: 从小学、初中、高中,再到大学和研究生。这条标准化的路径(K-12 到研究所)结构清晰,却也缓慢。但在当今这个信息爆炸、知识快速更新、个性化需求高涨的时…

产品经理岗位职责拆解

以下是产品经理岗位职责的详细分解表,涵盖工作内容、核心动作及输出成果:岗位职责具体工作内容输出成果1. 日常版本迭代管理需求分析及PRD产出协调资源推动产品上线- 收集业务/用户需求,分析可行性及优先级- 撰写PRD文档,明确功能…

后端微服务基础架构Spring Cloud

版本关系 版本发布说明-阿里云Spring Cloud Alibaba官网 选择 创建项目 创建父项目 什么都不动&#xff0c;创建即可 1) 删掉没用的文件 保留 2) pom中加入 打包方式 <packaging>pom</packaging> 3) 删掉src 4) pom.xml中删除没用的 5)更改pom.xml中 spring…

数据分析框架和方法

一、核心分析框架 (The Big Picture Frameworks)​​描述性分析 (What Happened?)​​​​目的&#xff1a;​​ 了解过去发生了什么&#xff0c;描述现状&#xff0c;监控业务健康。​​核心工作&#xff1a;​​ 汇总、聚合、计算基础指标 (KPI)&#xff0c;生成报表和仪表盘…

电路研究9.3.10——合宙Air780EP中的AT开发指南:阿里云应用指南

这个好像也用不到&#xff0c;不过可以先贴出来。简单看了一下也没深入分析&#xff0c;直接扒过来了&#xff0c;感觉涉及到了上位机的学习了。我这下位机的可能用不到&#xff0c;就是贴过来好了。 应用概述 使用 AT 方式连接阿里云分为一机一密和一型一密&#xff0c;其中一…

[Backlog] 核心协调器 | 终端用户界面(TUI)实现 | 多分支任务冲突解决 | 测试验证体系

第8章 核心协调器 欢迎回到Backlog.md&#xff01; 在上一章文件系统操作中&#xff0c;我们深入了解了数据物理存储层面的读写机制。本章将聚焦系统的神经中枢——核心协调器。 核心协调器的本质&#xff08;中央决策引擎&#xff09; 如果将Backlog.md视为项目管理团队&a…

车载以太网-TC8测试-UT(Upper Tester)

目录 一、技术原理:指令体系与协议适配1. **指令格式与传输机制**2. **协议栈交互逻辑**3. **规范遵循与版本演进**二、测试应用:TC8测试场景与案例1. **TCP协议栈深度验证**2. **ARP协议健壮性测试**3. **SOME/IP服务动态管理**三、实现挑战与解决方案1. **实时性要求**2. *…

扣子Coze纯前端部署多Agents

纯前端网页搭建&#xff0c;无需任何后端代码&#xff0c;方便快捷&#xff01; 就像公司前台的多功能控制台&#xff0c;员工可以通过按钮快速呼叫不同的AI助手。具备多设备适配、智能对话等基础能力。 支持添加多个智能体 配置方式 添加智能体信息&#xff0c;data-bot为智…

STM32中I2C协议详解

前言 在嵌入式系统中&#xff0c;设备间的短距离通信协议中&#xff0c;I2C&#xff08;Inter-Integrated Circuit&#xff0c;集成电路互连&#xff09;以其信号线少、布线简单、支持多从机等特点&#xff0c;被广泛应用于传感器、EEPROM、OLED屏等中低速外设的通信场景。与SP…

解锁Spring Boot多项目共享Redis:优雅Key命名结构指南

引言Redis 基础与 Spring Boot 集成Redis 简介Redis&#xff0c;即 Remote Dictionary Server&#xff0c;是一个开源的基于内存的数据结构存储系统&#xff0c;可用作数据库、缓存和消息中间件 。它具备诸多显著特性&#xff0c;使其在现代软件开发中占据重要地位。Redis 的读…

《重构项目》基于Apollo架构设计的项目重构方案(多种地图、多阶段、多任务、状态机管理)

1. 项目结构设计project/ ├── config/ # 配置文件&#xff08;定义 Scenario、Stage、Task 的映射&#xff09; ├── src/ │ ├── base/ # 抽象基类定义 │ │ ├── scenario_base.h/.cpp │ │ ├── stage_base.h/.cpp…

动手学深度学习13.6. 目标检测数据集-笔记练习(PyTorch)

以下内容为结合李沐老师的课程和教材补充的学习笔记&#xff0c;以及对课后练习的一些思考&#xff0c;自留回顾&#xff0c;也供同学之人交流参考。 本节课程地址&#xff1a;数据集_哔哩哔哩_bilibili 本节教材地址&#xff1a;13.6. 目标检测数据集 — 动手学深度学习 2.0…

Unity3D游戏内存优化指南

前言 Unity3D 游戏的内存控制是保证游戏流畅运行&#xff08;尤其在移动端和主机平台&#xff09;和避免崩溃的关键挑战。以下是核心策略和常见问题的解决方案&#xff1a; 对惹&#xff0c;这里有一个游戏开发交流小组&#xff0c;希望大家可以点击进来一起交流一下开发经验…

git学习:首次创建仓库

文章目录前言&#xff1a;1、首次创建仓库并上传数据1.1 创建仓库&#xff0c;1.2 命令上传1.3 首次代码上传至仓库的步骤&#xff1a;2、分支操作2.1 分支的删除2.2 切换分支2.3 查看分支2.4 同步其他分支的修改3、查看电脑的配置文件4、远程仓库命令 git remote5、其他后语前…

C++并行计算:OpenMP与MPI全解析

在高性能计算领域&#xff0c;充分利用硬件资源的并行计算技术已成为刚需。从单节点多核到跨节点集群&#xff0c;开发者需要掌握不同的并行编程模型。本文将系统讲解两种主流并行技术&#xff1a;OpenMP&#xff08;共享内存多核并行&#xff09;与MPI&#xff08;分布式内存集…

TCP 动态选路协议全面研究:OSPF、BGP 与 IS-IS 的比较与应用分析

一、引言&#xff1a;动态选路协议概述 在现代计算机网络中&#xff0c;路由选择是数据传输的核心功能&#xff0c;它决定了数据包从源到目的地的路径选择。随着网络规模的不断扩大和复杂性的增加&#xff0c;静态路由已经无法满足网络动态变化的需求&#xff0c;动态路由协议…

OpenCV 图像哈希类cv::img_hash::AverageHash

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 算法描述 cv::img_hash::AverageHash是OpenCV中用于图像哈希&#xff08;Image Hashing&#xff09;的一个类&#xff0c;属于opencv_img_hash模块。它实现了…

【Python-网络爬虫】爬虫的基础概念介绍

目录 一、爬虫的介绍 1.1 爬虫的概念 1.2 爬虫的作用 1. 搜索引擎数据索引 2. 商业数据采集与分析 3. 舆情监控与社交分析 4. 学术研究与数据挖掘 5. 信息聚合与服务优化 二、爬虫的分类 三、爬虫的基本流程 3.1 基本流程 3.2 Robots协议 一、爬虫的介绍 1.1 爬虫的…

力扣-31.下一个排列

题目链接 31.下一个排列 class Solution {public void nextPermutation(int[] nums) {//1.从右往左找第一个非逆序的数aint left nums.length - 2; //这里是为了找不到顺序对的时候正好停在-1while (left > 0 && nums[left] > nums[left 1]) { //一定要取等号…