目录
存储基础知识:
RAID:
云存储概述:
云存储产品:
CBS:
CFS文件存储:
COS对象存储:
云存储安全:
存储基础知识:
机械硬盘:HDD,即传统硬盘,由盘片、盘片转轴、磁头、磁头控制器等部分组成
固态硬盘:SSD,由控制单元和存储单元组成。将数据存储在电子电路上。
硬盘的性能指标:
IOPS:单位时间内系统能处理的I/O请求数量
吞吐量:带宽,每秒磁盘I/O的流量,吞吐量=IOPS*IO大小
时延:响应时间
企业存储发展历程:
1、硬盘在服务器内部
2、DAS,直连式存储,存储设备只与一台服务器连接。
3、存储网络兴起:
NAS:网络附加存储,网络上的文件系统:通过网络来链接服务器的带有文件系统的存储设备,主要提供文件存储型服务。
SAN:存储区域网络,网络上的磁盘:通过IP交换机和FC交换机来连接服务器和存储设备,从而搭建起专用于数据存储的区域网络,主要提供块存储型业务。
RAID:
Redundant Array of Independent Disks,独立冗余磁盘阵列,能够将多块独立物理硬盘按照不同的方式组合成一个硬盘组(逻辑硬盘)。
硬件RAID:由独立的RAID控制卡实现
软件RAID:基于服务器操作系统上的驱动程序来实现
RAID技术在将多块物理硬盘组合成一块逻辑盘时,会引入条带和分条两个概念
RAID的数据保护方式:镜像、算法(奇偶校验算法)
RAID0:数据条带化,无校验数据(不具备冗余性)
RAID1:数据镜像,无校验数据
RAID3:数据条带化,有校验数据,校验数据单独存放在专用硬盘中
RAID5:数据条带化,有校验数据,校验数据分布式存放各个硬盘中
RAID6:数据条带化,有两种类型的校验数据,提供两级冗余,校验数据分布式存放在各个硬盘中
RAID10:硬盘数据先完成RAID1方式组合,再完成RAID 0方式组合
RAID10:硬盘数据先完成RAID5方式组合,再完成RAID 0方式组合
可靠性:热备与重构
存储虚拟化:对存储硬件资源的抽象化表现,以逻辑资源的方式呈现,提供统一全面的存储服务的技术
基于主机的虚拟存储:C盘、/dev/sda1等;
基于存储设备的虚拟化:一些存储厂商的磁盘阵列、分布式存储产品等
基于网络的虚拟存储:SAN/NAS
云存储概述:
分布式存储:小聚大
存储虚拟化:大化小
Ceph:一款开源的统一分布式存储系统。采用crush算法来做数据分布
RadOS,ceph的核心:OSD、MON、MDS
HDFS:Hadoop File System,被设计成适合运行在通用硬件上的开源统一分布式文件存储系统
Namenode:存储文件系统的元数据,如文件和目录的命名空间、数据块的数量、副本的位置;管理客户端对文件的访问权限和对系统的操作;
Datanode:负责管理节点上的数据存储;
云存储产品:
CBS云硬盘:
Cloud Block Storage,云硬盘,是腾讯云用于提供给CVM的持久性数据块级存储服务。
弹性云硬盘/非弹性云硬盘:根据生命周期的不同,弹性云硬盘生命周期独立于云服务器。
根据产品类型分类:
高性能云硬盘:混合型存储产品。
通用型SSD云硬盘:入门级全闪类型块存储产品,高性价比优势。
SSD云硬盘:I/O性能有较高要求的场景
增强型SSD云硬盘:适用于对大型数据库,NoSQL等对实验要求很高的I/O密集型场景
极速型SSD云硬盘:IO密集型和吞吐量密集型工作负载。
云硬盘状态:待挂载、挂载中、使用中、卸载中、待回收、已销毁
相关概念:
云硬盘加密、云硬盘快照、云硬盘数据使用备份点
CBS使用场景:去本地化、海量数据分析、核心数据库
整体架构:
接入层:租户端、运营端
后端集群:存储池集群master控制中心/loadctrl支持流控配置/cell存储模块三副本/dbtrsf数据迁移、
快照集群:manager管理和维护快照中心\scheduler数据搬迁调度,数据的一致性确认\transfer
CBS读写流程:
基于驱动的方式实现资源的获取。
存储池Depot:
存储节点cell,diskpair硬盘分组、
数据组织的颗粒度从小到大:数据块block,逻辑小表tablet、硬盘disk、存储节点cell、存储池depot
快照机制:快照独立于云硬盘存在
CFS文件存储:
挂载点:每个文件系统都有一个挂载点,是一个IP地址
权限组:访问控制白名单。用户可以自行创建
SMB:一种在局域网上共享文件和打印机的一种通信协议
CIFS:通用Internet文件系统,是一种网络文件系统访问协议
VFS:虚拟文件系统
CFS存储类型:都提供三副本强一致架构能力和热迁移机制
通用标准型:适用于小规模通用数据存储场景
通用性能型:适合于小规模延时敏感型核心业务
Turbo标准型:提供私有协议的挂载方式。适用于大规模吞吐型和负载业务
Turbo性能型:高吞吐低时延并行文件存储。提供私有协议的挂载方式。适用于大规模小文件业务
吞吐型:分层架构的并行文件存储。适用于渲染、游戏战斗服务器、非线性编辑等读密集型业务
CFS使用场景:企业文件共享、高性能计算大数据分析、流媒体处理
CFS架构:CFS管控(对外承接租户端控制台、运营端控制台的请求,然后将其转发给CFS服务端做后续执行)、CFS客户端(云服务器本身)、CFS服务端(后端的NAS集群,master节点和agent节点)。
权限策略说明:来访地址、读写权限、用户权限、优先级(1为最高)
COS对象存储:
对象是COS的基本单元
存储类型:标准存储、低频存储、归档存储、深度归档存储、智能分层存储
使用方式:控制台、COSBrowser工具、COSCMD工具、API方式、SDK方式
使用场景:CDN数据分发、大数据分析、容灾与备份
整体架构:
接入层:对外提供COS服务的接口、
逻辑层:负责对COS数据存储的流程控制、对象元数据的CURD请求以及各种基础和高级特性的实现、
存储引擎层:包含lavadb和yotta两套引擎。数据进入存储引擎会被分片,然后将分片存储到数据存储系统yotta,将对象&分片的元数据信息存储在索引系统lavadb;
Lavadb是一个有序KV存储平台:
接入模块lavadb-access、存储模块lavadb-cell、中控模块lavadb master、故障探测arbiter、自动调度scheduler、数据搬迁dbtrsf
Lavadb读写流程:
读流程:lavadb-access接收上层请求,初始化状态并获取cell内小表路由信息,先读master小表,读取失败后再读取slave小表
写流程:lavadb-access接收上层请求,初始化状态并获取cell内小表路由信息,先写slave小表,再写master小表,最后返回写完成。
yotta是COS的数据管理系统
云存储安全:
安全威胁:数据不丢失、数据隐私防泄漏
云存储数据安全技术:
数据加密技术:KMS秘钥管理服务
数据擦除机制:硬销毁:物理硬盘破坏;软销毁:对数据进行多次复写、清除