TomsHardware的编辑对无散热片型号的PCIe 4.0/5.0 NVMe固态盘净重均值进行了测算,在收集并记录超一百个样本数据后得出结论:8TB规格的M2固态盘平均重量为8.2克,4TB规格的平均重量为8克,即便采用双面贴片设计的高容量盘,其重量也未出现明显增加。
目前8TB固态硬盘的定价相比4TB型号显得不太合理,单块均价达到1476美元,换算成每克价值的话,已经超过了黄金(前者约184美元/克,后者约148美元/克)。就算是4TB的NVMe固态硬盘,部分品牌的产品价值也接近8克黄金(约1184美元),尤其是企业级硬盘,其每克价值超过黄金是毫无疑问的。
TomsHardware的编辑指出,目前大部分消费级4TB SSD的售价在800美元以下,尽管还未达到贵如黄金的地步,较前两年则翻了一番不止。
许多人不明白为何闪存(Flash)也会搭上AI顺风车价格一路狂飙,最流行的说法是厂商扩产内存(RAM)挤占了闪存产线,实际上这个说法并不准确。
以群联aiDAPTIV+技术为代表的AI计算加速平台使用闪存作为辅助内存池,可有效缓解GPU VRAM不足导致的效率损失。
研究人员测算得出,DGX Spark在推理场景下的TTFT(首个token生成时间)大约是40秒,借助aiDAPTIV技术后这一时间缩短至9秒;而Strix Halo的TTFT原本为36秒,应用aiDAPTIV后则降至6秒。
在模型训练的应用场景中,NVIDIA平台会把所有相关内容都加载到GPU内存里。举个例子,一个拥有700亿参数的大语言模型(LLM),大概需要20乘以700亿参数所对应的1.4TB显存容量,这就需要使用18块H100显卡,或者10块H200、8块B200、5块B300显卡才能满足需求。不过,在采用了aiDAPTIV技术之后,训练过程会被拆分成多个不同的部分,此时仅需16GB的显存就能开展训练工作,而性能方面的损失大约只有10%左右。
主控厂商群联电子曾经展示过一个更为极端的案例:仅采用两块RTX Pro 6000显卡,就能开展Llama 3.1 405B模型的训练工作。其硬件配置仅包含192GB显存,搭配8TB的aiDAPTIV SSD缓存池,整体硬件成本大约在5万美元上下。
如果不用SSD缓存池,把显存扩充至8TB要买一大堆NVIDIA AI卡,硬件成本接近400万美元。
aiDAPTIV技术的应用伴随着一个显著的代价——那就是闪存写入量会大幅增加,这就要求SSD必须以SLC模式运行。要知道,8TB的SLC容量换算下来相当于32TB的TLC容量,如此一来,闪存生产线的产能根本难以跟上需求。目前整个行业都面临着普遍的供不应求状况,市场缺口大约在15%到20%之间。
标准aiDAPTIV SSD的额定寿命为100DWPD,相比之下,2TB消费级SSD的寿命约为0.3DWPD——若将其用于aiDAPTIV,仅能维持一周左右。从这一维度来看,aiDAPTIV缓存池中的SSD本质上相当于耗材,这进一步加剧了供应短缺的状况。
闪存工厂扩建周期长达两年,就算厂商当下启动扩产计划,新增产能也要等到2028年才能落地释放。过去两年闪存价格一路下行,厂商们普遍缺乏投资扩产的意愿,这直接造成了当前供不应求的状况难以得到有效缓解。
硬盘市场的情况也类似,随着数据中心的大量兴建,市场对大容量企业级硬盘的需求持续攀升。然而,硬盘厂商这些年却固守旧有模式,完全没有扩大产能的打算,这可苦了那些热衷于囤积硬盘的用户。目前硬盘价格平均涨幅达到46%,而且容量越大,价格上涨幅度越明显——比如希捷24TB酷鱼硬盘,过去最低曾卖到239美元,现在现货价格涨到了499美元,不少电商平台甚至还处于缺货状态。