大数据存储技术_磁盘与阵列技术

软件发布|下载排行|最新软件

当前位置:首页IT学院IT技术

大数据存储技术_磁盘与阵列技术

老板我这有皮卡丘   2020-04-08 我要评论

磁盘与阵列技术

2.1 磁盘HDD(Hard Disk Drive)

1.磁盘依旧占外部存储市场的主流

2.HDD新技术

  -HAMR技术(热辅助磁记录):提高单盘存储容量(20TB起)

  -MACH.2(双驱动臂):提高读写速度(480MB/s)

3.HDD大容量硬盘未衰反兴

4.磁盘里面的结构

  磁盘盘片:将硬磁材料涂敷、电镀或沉积在金属或玻璃材质的基板上,是记录二进制信息的载体

  主轴:将磁盘盘片固定在磁盘内部,在电动马达的驱动下,磁盘盘片以主轴为中心高速转动。(指标是每分钟的转速)

 

 

  步进电机:控制磁头精确定位到每个磁道

  传动手臂:

 

  读写磁头:将电脉冲信号转换成介质上的磁化状态,又将介质的磁化状态转换成电脉冲信号,是电磁转换的“桥梁”(将硬磁材料涂敷、电镀或沉积在金属或玻璃材质的基板上,是记录二进制信息的载体)

  控制器:控制主轴电机的供电和速度、磁盘与主机CPU的通讯、如何移动激励臂膀以控制读写、读写磁头的转换、数据访问优化等等

5.磁盘的基本操作

  数据写入:

    通过控制电路,驱动磁头改变盘片上磁性粒子簇的极性来写入数据。

  数据读取:

    盘片上被极化的磁性粒子与磁头上的磁感应物质相互作用,在磁头上产生感应电压,进一步被转化为能够被计算机处理的二进制信号。

 6.磁盘几何

  - 每个磁面由许多磁道构成

  - 每个磁道又被分割为许多扇区

7.格式化磁盘

  允许控制器为每个区域留出备用的柱面,解释“格式化容量”和“最大容量”之间的差异。

8. 柱面

  对齐的轨道形成柱面。

 

 

 9.物理地址与逻辑地址

物理地址 = CHS(柱面、磁头、扇区)

逻辑地址= Block#

 

 10.磁盘容量

  确定容量的技术因素:

    记录密度Recording density (bits/in):磁道一英寸的段中可以放入的位数.

    磁道密度Track density (tracks/in):从盘片中心出发半径上一英寸的段内可以有的磁道数.

    面密度Areal density (bits/in2):记录密度与磁道密度的乘积.

  注:由于外磁道的长度大于内磁道。现代磁盘不再把内外磁道划分为相同数目的扇区,而是利用外层磁道容量较内层磁道大的特点,将盘面划分成若干条环带。

  存储容量 = 磁头数 × 磁道(柱面)数 × 每道扇区数 × 每扇区字节数

11.磁盘定位

  平均访问时间 = 平均寻道时间 + 平均旋转延迟 + 平均转换时间

  (一般平均寻道时间是8ms)

  访问磁盘的时间主要开销是寻道时间和旋转延迟!

  • 最大旋转延迟

     Tmax rotation=(1/RPM) * (60secs/1min)

  • 平均旋转延迟
     Tavg rotation =(1/2)*Tmax rotation

  常见参数:

  

   

  一个400G磁盘的典型参数:

    (1)16,383 柱面,每个柱面24M字节

    (2)8个双面盘,共有16个读写头

    (3)每分钟7200转

    (4)一个读写头每秒可以读写 120 × 1.5 = 80MB/S

    (5)每个磁道的数据位 24/16=1.5MB per track

12.磁盘驱动器性能:数据传输速率

 13.外部设备互连

 

 14.磁盘访问时间

  (1)IDE总线:66MB/S 是一个比较常见的速度

      电子设备会成为66MB/S瓶颈

  (2)SATA3: 3GB/S

      机制会成为180MB/S的瓶颈

  (3)几个关键点

    · 访问时间是由寻道时延和旋转时延决定的

    · 找到某个扇区上的第一位是最贵的,其余位是免费的

    · 访问8byte,SRAM的访问时间是4ns

    · 访问8byte,DRAM的访问时间是60ns

    · 访问512byte,磁盘要10ms, 因此磁盘的访问速率比DRAM慢2500倍,比SRAM慢40000倍

15.驱动的可靠性:平均无故障时间

      MTBF:Mean Time Between Failure(设备发生故障之前的运行时间)

2.2磁盘阵列RAID Arrays

1.背景

  (1)计算机系统总体性能的提高很不匹配
    · 处理器和主存性能改进快
    · 辅存性能改进慢

  (2)廉价磁盘冗余阵列(Redundant Array of Inexpensive Disks,RAID)

    UC, Berkeley:David A. Patterson
    RAID0~RAID6

  

 2.RAID基本思想

  将多个具有独立操作的廉价磁盘按某种方式组织成一个磁盘阵列(Disk Array),以增加容量,利用类似于主存中的多体交叉技术,将数据存储在多个盘体上,让这些盘并行工作来提高数据传输速度,并采用冗余(redundancy)磁盘技术来进行错误恢复(error correction)以提高系统可靠性(reliability)。

  · RAID是一组物理盘,操作系统将其视为单个逻辑盘

  · 独立冗余磁盘阵列RAID:Redundant Arrays of Independent Disks,独立磁盘构成的具有冗余能力的阵列

3.NRAID

  (1) NRAID:Non-RAID

  (2) 所有磁盘的容量组合成一个逻辑盘,没有数据块分条(no block stripping)

    · NRAID不提供数据冗余
    ·要求至少一个磁盘

  

 4.JOBD:Just a Bunch of Disks(磁盘簇)

  (1)一个在底板上安装的、带有多个磁盘驱动器的附件,与RAID阵列不同,没有前端逻辑来管理磁盘上的数据分布

  (2) 磁盘控制器把每个物理磁盘看作独立的磁盘单独寻址,因此每个磁盘都是独立的逻辑盘

  (3) JBOD也不提供数据冗余

  (4)要求至少一个磁盘

5.RAID组成

  

 

 

 6.数据组织:条带(stripe)

 

  (1)stripe是由多个磁盘上的stripes构成的数据条带

  (2)stripe的width是指数据被划分为了多少个并发的stripes

  (3)性能分析-条带:

    · strip/block size可调:带宽和吞吐率的折中
    · Small size : 高传输速度
       · Large size : 并发I/O

  

7.RAID 冗余技术

  (1)镜像

  

     通过镜像来实现冗余,保存在磁盘A的内容,也保存在B中。

  (2)副本

  

   用一个磁盘专门用来保存前面几个磁盘的副本

8.磁盘级别

  (1)RAID0:条带阵列,无容错

   

   (2)RAID1: 磁盘阵列

  

 

  优点:高数据可用性和高I/O率(小块)。

  缺点:可用存储容量为50%。

  性能:提高读性能,但降低写性能。

  数据保护:改进了raid0的容错能力。

  应用:会计,支付,金融和需要高可靠性的应用

   (3)RAID 0+1

  

 

 

   (4)RAID 1+0

  

 重点:

  RAID 0+1 和 RAID 1+0 又有什么区别呢?
  · RAID 0+1是先让磁盘组内的成员组成RAID 0条带化,然后磁盘组之间为RAID 1镜像关系。    

  · RAID 1+0是先让磁盘组内的成员组成RAID 1互为镜像,然后磁盘组之间RAID 0条带化。

  · 除了构成先后的差别外,主要的区别还表现在容错性上。RAID 0+1 的损坏一块磁盘之后,所在的RAID 0组即认为损坏,RAID 0+1 实际上已经退化为一个RAID 0 的结构,此时,上面那组RAID 0随便坏一块,整个RAID就崩溃了。

  · 相对来说,RAID 1+0 就不会有这个问题,只要同一个RAID 1组内硬盘不全部损坏,整个RAID就不会有问题,在图中可以认为,只要右上角的那块磁盘不坏,整个RAID就不会崩溃。

   (5)  RAID3: 带奇偶校验码的并行传送

        RAID 3总是在所有磁盘上读取和写入完整的数据条纹。至少需要3块盘(2块盘没有校验的意义)。将数据存放在n+1块盘上,有效空间是n块盘的总和,最后一块存储校验信息。数据被分割存储在n块盘上,任一数据盘出现问题,可由其他数据盘通过校正监测恢复数据(可以带伤工作),换数据盘需要重新恢复完整的校验容错信息。对阵列写入时会重写校验盘的内容,对校验盘的负载较大,读写速度相较于Raid0较慢,适用于读取多而写入少的应用环境,比如数据库和web服务器。使用容错算法和分块的大小决定了Raid3在通常情况下用于大文件且安全性要求较高的应用,比如视频编辑、硬盘播出机、大型数据库等。

  stripe size = logic block size of file system

  (6)RAID4: 带奇偶校验码的独立磁盘结构

  提供了非常好的读性能,但单一的校验盘往往成为系统性能的瓶颈。对于写操作,RAID4 只能一个磁盘一个磁盘地写,并且还要写入校验数据,因此写性能比较差。而且随着成员磁盘数量的增加,校验盘的系统瓶颈将更加突出。正是如上这些限制和不足,所以不推荐 RAID4 在实际应用。RAID4和RAID3很象,不同的是,它对数据的访问是按数据块进行的,也就是按磁盘进行的,每次是一个盘。在图上可以这么看,RAID3是一次一横条,而RAID4一次一竖条。它的特点的RAID3也挺象,不过在失败恢复时,它的难度可要比RAID3大得多了,控制器的设计难度也要大许多,而且访问数据的效率不怎么好。 

  

  (7) RAID5:分布式奇偶校验的独立磁盘结构

  奇偶校验值,其它的意思也相同。RAID5的读出效率很高,写入效率一般,块式的集体访问效率不错。因为奇偶校验码在不同的磁盘上,所以提高了可靠性,允许单个磁盘出错。RAID 5也是以数据的校验位来保证数据的安全,但它不是以单独硬盘来存放数据的校验位,而是将数据段的校验位交互存放于各个硬盘上。这样,任何一个硬盘损坏,都可以根据其它硬盘上的校验位来重建损坏的数据。硬盘的利用率为n-1。 但是它对数据传输的并行性解决不好,而且控制器的设计也相当困难。RAID 3 与RAID 5相比,重要的区别在于RAID 3每进行一次数据传输,需涉及到所有的阵列盘。而对于RAID 5来说,大部分数据传输只对一块磁盘操作,可进行并行操作。在RAID 5中有“写损失”,即每一次写操作,将产生四个实际的读/写操作,其中两次读旧的数据及奇偶信息,两次写新的数据及奇偶信息。 RAID-5的话,优点是提供了冗余性(支持一块盘掉线后仍然正常运行),磁盘空间利用率较高(N-1/N),读写速度较快(N-1倍)。但当掉盘之后,运行效率大幅下降。

 

 

 特点:

  ·块大小调整为典型的I/O对齐到单个磁盘上。

  ·每个条带有一个校验块,但是不同条带位置不同,在相邻条带间循环分布,从而避免校验写的瓶颈

 

 (8)RAID6:带有两种分布存储的奇偶校验码的独立磁盘结构

  名字很长,但是如果看到图,大家立刻会明白是为什么,请注意p0代表第0带区的奇偶校验值,而pA代表数据块A的奇偶校验值。它是对RAID5的扩展,主要是用于要求数据绝对不能出错的场合。当然了,由于引入了第二种奇偶校验值,所以需要N+2个磁盘,同时对控制器的设计变得十分复杂,写入速度也不好,用于计算奇偶校验值和验证数据正确性所花费的时间比较多,造成了不必须的负载。我想除了军队没有人用得起这种东西。

 

  (9)RAID技术比较

 

  (10)技术选择路线

 

Copyright 2022 版权所有 软件发布 访问手机版

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 联系我们