nand read page命令多维度深入剖析QLC SSD硬件延迟的来源

发布时间 : 2024-11-24

作者 : 小编

访问数量 : 23

扫码分享至微信

多维度深入剖析QLC SSD硬件延迟的来源

之前谈到QLC的背景和SSD延迟相关的话题：

PLC SSD虽来但远，QLC SSD火力全开

如何快速debug定位SSD延迟问题？

本文主要针对QLC SSD本身硬件底层延迟来源进行剖析，看看是否有新奇的发现。

如之前文章的介绍，目前NAND已经从SLC发展到PLC，但是PLC离大规模上市还有一段距离，我们暂时先略过。市面上主要流通的就是4种NAND类型：SLC、MLC、TLC、QLC。随着每个寿命从高到低依次是SLC>MLC>TLC>QLC.

随着单个cell含有的bit数越多，NAND的可靠性也会有所降低。同时写延迟也在不断地增加。SLC写延迟在0.5ms级别，到QLC写延迟达到10-20ms，40倍的差距。这也导致QLC SSD性能出现很大的下降。

在评价SSD性能指标的时候，我们通常会提到顺序读写带宽，随机读写IOPS，这些指标与NAND之间的关系是怎么样的呢？延迟的来源有哪些？

(1)NAND Read Page时间影响SSD读性能

Host从SSD读数据，最终数据的来源也是要从NAND die上读取，对NAND die发送Read Page操作，数据返回。这个过程的耗时直接决定了SSD读性能的好坏。下图是某个比较老的NAND SPEC相关读操作的示意图，仅供参考。

(2)NAND Program Page时间影响SSD写性能

Host向SSD写入数据，数据最终的归宿是NAND die。数据写入NAND的时间依赖NAND Channel和Plane的设计，更重要的是需要依赖NAND die本身program page的时间，这个过程的耗时直接决定了SSD写性能的好坏。下图是某个比较老的NAND SPEC相关写操作的示意图，仅供参考。

比如下图是在去年ISSCC展示的不同场景QLC SSD性能的对比。其中，我们可以关注到Program Latency(tPROG)的时间，跟Program Throughput写带宽有直接的关系。同样的Plane配置下，Program Latency(tPROG)的时间越小，Program Throughput写带宽就会越大 。

(3)NAND Block Erase的时间也会影响SSD读写性能

下图是SSD写入page的简单示意图。当数据以4KB大小随机写入时，最左边的die的第一个block已经写满了，包括了有用数据或者invalid无效数据。

在SSD FW内部GC启动的策略下，最左边die的第一block的有效数据被搬迁到空闲的数据块block。同时该block开始执行Erase操作。此时，如果我们要读取在这个die的数据A的时候，因为同一颗die正在进行erase操作，就会导致A数据读操作无法执行（同时，如果同一个die或者plane有读操作进行，此时读取同一个die和plane，也会产生冲突，影响读性能），需要等待erase操作完成。最终导致读的延迟里面有多了一个erase block的操作，读性能就会看到一个抖动。

在GC的另外一种状态，SSD内部没有空闲的block，需要等待GC搬迁数据和擦除数据，腾出空闲的数据块，这个过程，erase的操作也影响到写性能。假如我要写入一个4KB的数据Z覆盖A，并恰好目标块没有空余的页区，需要进行GC回收。这个时候就需要把B、C、D、E、F五分数据都搬走，然后擦除整个数据块，擦除完成后再整体写入6个数据页。这个整个过程，Host虽然只写了4KB的数据，但实际过程中，由于GC的问题，NAND最终写入了24KB。那么写放大WAF=24KB/4KB=6. 这整个过程写延迟和写放大都受到了很大的影响。

扩展阅读：SSD写放大的优化策略要统一标准了吗？

(4)NAND其他特性对SSD读写性能的影响

比如要增加写性能，做法是在NAND array Bit Line方向增加plane的并发度，多个page一起写。另外，也可以通过减少Bit line的长度来降低RC延迟，这样可以提升读的性能。

同时，NAND ONFI接口的速率也会影响性能，目前常见的接口速率2400MT/s, 3200MT/s, 3600MT/s。

(5) ECC纠错对SSD读性能的影响

在host读取数据过程中，最理想的情况是一个Page Read Time的时间就可以直接返回数据。但现实情况是，我们可能会因为一些不想看到的问题，导致性能受损。

比如读写之间的温度差、Data Retention、读干扰、写干扰等。导致出现数据翻转，需要启动Read Retry重读机制、LDPC纠错、RAID纠错等修复机制。这个过程就会导致性能出现跌落或者延迟抖动。

在QLC SSD中，因为Vt level之间的电压差更狭小，访问同一个区域的扫描电压影响会更大，更容易引发读干扰的问题。

同样的，Data Retention也比较明显，读写温度差异对QLC NAND的更加敏感。

扩展阅读：SSD可靠性分析前传之NAND闪存可靠性概览

(6) 3D-NAND工艺对SSD性能的影响

目前业内3D-NAND工艺架构主要分为两个阵营，一个阵营，以Solidigm(Intel NAND卖给海力士后新成立的公司)为首，采用Floating Gate(FG)浮栅，另外一个阵营三星/WD等，采用Change Trap Flash。FG浮栅将电荷存储在导体中，而CTF将电荷存储于绝缘体中，这消除了单元之间的干扰，提高了读写性能，同时与浮栅技术相比减少了单元面积。不过，FG浮栅对read disturb和program disturb的抗干扰比CTF要好。

FG浮栅架构在Program过程，采用4-16 program算法，这个过程可以减少program disturb写干扰。

CTF架构，或者叫做RG架构，采用16-16 progam算法，两次program都要求所有page直接写入NAND，第一次program电压是放置在最终电压附近。CTF的Data Retention相对比较严重。

在写性能方面的对比，不同的架构有不同的表现。

在TLC NAND中，CTF架构tPROG比FG浮栅低18%，所以在TLC SSD中，CTF架构TLC NAND SSD的性能比FG架构TLC NAND SSD性能要好。在QLC NAND中，由于program算法差异的影响，FG浮栅表现更好，FG架构QLC NAND SSD性能比CTF架构QLC NAND SSD性能要好。

再搬出这个QLC SSD性能对比图，同样4plane的QLC SSD，采用FG架构的Intel QLC SSD写延迟tPROG=1.63ms比采用CTF架构的SK Hynix写延迟tPROG=2.15ms要低。

不同的NAND工艺架构，在不同的维度各有千秋，对维度对比，供大家参考。

扩展阅读：3D-NAND向500层进发，天花板在哪里？

结语

不同的FW架构设计、FTL算法设计、NAND die plane/速率等的差异，都会直接影响SSD的性能与延迟，设计一块性能优越且稳定的SSD，是一项繁琐但具有很强艺术性的工程 。

精彩推荐:

漫谈固态硬盘SSD全生命周期的质量管理如何快速debug定位SSD延迟问题？汽车存储SSD面临的挑战与机遇超大规模云数据中心对存储的诉求有哪些？SSD写放大的优化策略要统一标准了吗？阿里云Optane+QLC存储实践案例分享“后Optane时代”的替代存储方案有哪些？浅析数据中心存储发展趋势浅析PCIe链路LTSSM状态机浅析Relaxed Ordering对PCIe系统稳定性的影响实战篇｜浅析MPS对PCIe系统稳定性的影响浅析PCI配置空间浅析PCIe系统性能PLC SSD虽来但远，QLC SSD火力全开Backblaze2022中期SSD故障质量报告解读最全电脑固态硬盘SSD入门级白皮书存储随笔《NVMe专题》大合集及PDF版正式发布！加权循环仲裁WRR特性对NVME SSD性能有什么影响？Linux NVMe Driver学习笔记之9: nvme_reset_work压轴大戏

NAS入坑难、门槛高？遇到问题难解决？—威联通NAS入门指南

本内容来源于@什么值得买APP，观点仅代表作者本人｜作者：Looklike

创作说明

近年来我发现NAS越来越普及，更多的玩家也选择入坑NAS来组建自己的私人服务器。NAS虽然能带来不少方便，但它的使用确实是有一定门槛的，而且不少新玩家在安装使用的过程中多多少少都会遇到这样那样的问题。我本人也是威联通NAS用户，发现论坛之类相关问题解答对比其他产品还是比较少，本次就罗列几个安装使用过程中可能会用（遇）到的小知识、问题及解决方法，希望能为大家提供方便！

创作态度

希望大家快速上手，帮助大家找到NAS使用过程中疑难杂症的解决办法，轻松建立属于私人的小型服务器。

创作目录

1.在同一局域网内Qfinder 无法搜索到NAS

2.常见系统安装失败故障情况

3.admin密码忘记或有admin密码但是登录不上

4.关于静态卷-存储池-卷的概念

5.Raid迁移

6.创建高速缓存加速

创作正文

本文以威联通TS-453D为例，为大家讲解以上各个应用的使用技巧。TS-453D是威联通的2020旗舰，作为一款4盘位NAS，它的性能十分强悍，处理器为 Intel Celeron J4125四核心2.0GHz处理器，DDR4内存容量可扩展至8GB（两个SO-DIMM插槽），拥有2个USB 3.2 Gen.1和3个USB 2.0和一个HDMI 2.0，支持4K 60hz视频输出。该系列均有一个PCIe2.0插槽，玩家可弹性选择万兆网卡、M.2 SATA SSD、M.2 NVMe SSD、无线网卡以及独立显卡等拓展卡进行配置。

我用的硬盘是希捷的酷狼2T硬盘，为什么选这个盘呢？它是为多用户环境和高工作负荷率而设计，健康管理、持续监控和用户警报功能让酷狼的可靠性风评不错，而且系统扩展性也很好。

而且2020年9月1日起，希捷酷狼全产品线标配3年的原厂数据救援服务，说白了就是万一出了问题，希捷提供免费救数据的服务。只要出厂日期在2020.1.1之后的盘都能享受，希捷那边还会安排人员上门取货。感觉希捷还是信心十足，不然也不会提供如此服务。

以下正式进入内容：

1.在同一局域网内Qfinder 无法搜索到NAS

Qfinder搜索到NAS，除了电脑和 NAS 需要在同一个局域网内之外，还需要在同一个网段（IP的前三位数要一样，最好让电脑和NAS接在同一个交换机或路由器）；如果有安装杀毒软件或防火墙，请先关闭杀毒软件和防火墙，比如360之类。

再者就是有可能是某个程序占用了Qfinder必要的8097 port了，可以用这个指令：netstat -aon -b | find /i "8097" ，找到port 8097 对应的PID

需要以管理员的身份运行cmd，在cmd中运行指令，复制-切换到cmd-Ctrl+v-回车，即可出现以下界面：

这里port 8097 对应的PID 是 9060

接下来打开任务，管理器，点击详细信息，找到9060对应的进程

找到占用port 8097的进程，关掉占用port 8097的程序即可。因为我这台电脑Qfinder 是可以正常搜索到NAS 的所以 PID 9060 对应的程式是 Qfinder 。

如果还是搜索不到，开启路由器的DHCP、换一个路由器或交换机、安装一个低版本的Qfinder、尝试用其他电脑看是否可以用Qfinder搜索到NAS，都可以试一试，还不行的话那可能就真的有问题了。

2.常见系统安装失败故障情况

⑴ 浏览器通过IP 地址登录 NAS 后，页面是白色的，没有看到下一步按钮。

处理建议：浏览器兼容性问题，建议使用谷歌或火狐浏览器；如果浏览器有极速模式（比如360浏览器），可以将当前的浏览器切换为极速模式也可以。

⑵ 系统安装完成NAS重启后仍提示需要初始化安装

处理建议：在电脑上安装一个putty软件，通过ssh 连接登录NAS ，下 dmesg 命令，看是否有报硬盘I/O错误，如果有抓到硬盘I/O错误，说明是硬盘问题导致的系统安装失败，就需要更换硬盘了；也有新硬盘就有问题的

[ 384.930259] Buffer I/O error on dev sda1, logical block 530116, async page read

[ 384.937749] Buffer I/O error on dev sda1, logical block 530117, async page read

[ 384.945238] Buffer I/O error on dev sda1, logical block 530118, async page read

[ 384.952723] Buffer I/O error on dev sda1, logical block 530119, async page read

[ 385.509891] Buffer I/O error on dev sdb1, logical block 530116, async page read

[ 385.517397] Buffer I/O error on dev sdb1, logical block 530117, async page read

[ 385.524898] Buffer I/O error on dev sdb1, logical block 530118, async page read

[ 385.532388] Buffer I/O error on dev sdb1, logical block 530119, async page read

⑶ 确定硬盘是好的或者硬盘之前是在电脑上用过的，系统安装完成NAS重启后仍提示需要初始化安装

在电脑上安装一个putty软件，通过ssh 连接登录NAS ，下 fdisk -l 命令，发现这颗硬盘的分区格式还是之前的NTFS格式，不是 NAS 所需要的 ext4/ext3 格式。

处理建议：直接用命令删除硬盘上的分区，fdisk –d all /dev/sdx (慎用)，看容量大小，就可以知道哪颗盘对应哪个/dev/sdx，删除完成后，关机NAS，取下硬盘，先无盘开机，开机完成后，再热插回硬盘，开始安装系统；或将这颗硬盘接回电脑，计算机-管理-磁盘管理，删除这颗硬盘上的所有分区，然后接回NAS，再开始安装系统。