一、多媒体基础概念

1. 媒体的分类

   • 感觉媒体：人类感官直接接收的信息形式（如声音、图像）。
   • 表示媒体：信息的数字化表示（如JPEG图像、MP3音频）。
   • 显示媒体：输入/输出设备（如键盘、显示器）。
   • 存储媒体：数据存储介质（如硬盘、光盘）。
   • 传输媒体：数据传输介质（如光纤、电磁波）。

2. 多媒体的定义
   通过计算机技术整合文本、图形、音频、视频等多种媒体，建立逻辑连接，实现交互性系统。
   应用领域：工业、医疗、教育、娱乐、智能家居等。

---

二、多媒体的核心特征

特征	说明
多维化	支持多种媒体类型（如视觉、听觉）的交互与处理。
集成性	硬件设备与软件功能的整合（如音视频同步处理）。
交互性	用户主动控制信息（如游戏中的实时操作）。
实时性	时间敏感型媒体（如直播视频、语音通话）需即时处理。

---

三、多媒体系统组成

1. 硬件层
   • 输入设备：摄像头、麦克风、扫描仪。
   • 输出设备：显示器、扬声器、打印机。
   • 存储设备：SSD、光盘、云存储。
2. 软件层
   • 驱动软件：设备底层控制（如声卡驱动）。
   • 操作系统：资源调度（如Windows多媒体服务）。
   • 数据处理软件：音视频编辑工具（如Adobe Premiere）。
   • 创作工具：多媒体内容生成平台（如Unity）。

---

四、关键技术详解

1. 视音频技术

• 视频处理：
  • 数字化：模拟信号→数字信号（如ADC转换）。
  • 编码标准：
    • 静态图像：JPEG、JPEG 2000（高压缩比）。
    • 动态视频：MPEG系列（MPEG-4支持低带宽传输）。
    • 实时通信：H.26L（高容错性，适用于视频会议）。
• 音频处理：
  • 语音识别：将语音转为文本（如Siri）。
  • 合成技术：文本转语音（TTS）。

2. 数据压缩技术

压缩类型	原理	典型格式
无损压缩	保留全部数据（统计冗余消除）	FLAC、WAV（音质优先）
有损压缩	舍弃人眼/耳不敏感信息（不可逆）	MP3、WMA（体积小，适合传输）

3. 通信技术

• 传输介质：光纤（高速）、无线（灵活性高）。
• 数据传输技术：
  • 多路复用：频分/时分复用（提升信道利用率）。
  • 差错控制：CRC校验（保障数据完整性）。

4. VR/AR技术

技术类型	特点	应用场景
桌面式VR	低成本，易实现（需外设交互）	3D建模、模拟训练
沉浸式VR	全感官沉浸（头盔、数据手套）	虚拟旅游、医疗仿真
增强现实AR	叠加虚拟信息到现实世界（需空间定位）	工业维修导航、教育互动

关键技术挑战：

• 数据采集优化（如激光扫描动态地形）。
• 实时交互反馈（力觉/触觉手套）。

---

五、重点考点与典型考题

1. 考点1：多媒体特征
   考题：多媒体技术的“实时性”主要针对哪类媒体？举例说明其应用场景。
   答案：针对时间敏感型媒体（如直播视频、语音通话），需保证低延迟处理。

2. 考点2：压缩技术对比
   考题：有损压缩与无损压缩的核心区别是什么？各举一个音频格式例子。
   答案：有损压缩舍弃部分信息（如MP3），无损保留全部数据（如FLAC）。

3. 考点3：VR/AR分类
   考题：AR技术的核心依赖哪些技术？说明其在工业维修中的价值。
   答案：依赖计算机图形学、空间定位技术；可叠加维修指引到设备实体，提升效率。

---

六、总结

多媒体系统的核心在于集成异构媒体并保障实时交互，关键技术涵盖编解码、压缩、传输及新型VR/AR应用。架构师需关注：

• 硬件选型（如支持4K编解码的GPU）。
• 软件栈适配（如选择低延迟通信协议）。
• 平衡质量与性能（有损压缩在传输中的取舍）。