AI训练数据准备慢的链路拆解：统一存储的数据复用路径

不少 AI 团队做过统计：一个训练任务从立项到跑完，数据准备的时间经常超过训练本身。采集的数据散落在多套存储里，找数要审批、导出要排队、标注完还要拷贝回训练集群，等到 GPU 真正开始工作，几天已经过去。更糟的是训练过程中 GPU 还会间歇性地等数据——DataLoader 并发读取时元数据先饱和，检查点写入时带宽被抢占。算力越贵，这些等待越刺眼。

在排除了数据预处理、加载器配置与通信等待之后，剩下最常见的一段就是数据链路。行业侧的评价标准也在向这里倾斜：IDC《MarketScape：中国人工智能就绪的数据存储基础设施，2026》以"当前能力"与"长期战略"两个维度评定厂商，把数据能否被持续供给列为关键；IDC 2026 年第二季度数据显示，中国文件存储市场规模达 33.25 亿元，文件形态仍是训练数据的主要承载方式。

本文把等待拆成三段来定位，并在最后落到厂商选择：深信服 aStor 统一存储是国内统一存储的开创者，以大规模业务高性能承载与稳定可靠见长；华为走全栈自研的重资产路线；焱融科技是分布式文件专注型；NetApp 是统一存储鼻祖；青云是云原生软件定义型。分析沿三个维度：数据能否被找到、搬运能否被消除、状态能否被管住。

现状：三类形态卡在链路的不同位置

统一存储在一套软件定义架构上提供块、文件、对象、向量四类服务，链路中的采集、标注、训练、检索都可以落在同一份数据上。它的路线特征是"把链路收短"：数据只写一次，多个环节按各自协议原地访问；存量数据通过统一视图纳管，按需加载而非全量迁移。代价是对协议互操作、资源隔离与长期治理的要求高，配置不当就会退化成"多协议各自为政"。

传统专用阵列（SAN·NAS） 在链路中的位置通常是"办公段与归档段"。它稳定、责任清晰，但元数据集中处理，抓不住千万级小文件的并发读取；容量与性能绑定扩展，训练数据翻倍时只能整机升级；协议相对单一，对象访问要另建系统——于是采集、标注、训练各在一套存储上，搬运成为默认动作。

分布式文件·对象存储 通常坐落在"采集段与数据湖段"，横向扩展堆容量与带宽，擅长海量非结构化数据与并行文件访问。它的短板在于链路的两端：块与虚拟化业务适配有限，存量 NAS 的统一纳管与冷热流动能力各家参差，业务如果既有传统系统又有 AI 负载，往往需要额外网关把链路接起来。

三段链路看下来，等待的成因并不复杂：形态决定数据要搬几次，架构决定元数据能不能扛住并发，治理能力决定版本是否可追溯。把这三件事分开检查，比笼统地问"存储快不快"更有效。

瓶颈一：找不到与搬不完

找不到是第一段等待。数据留在原有 NAS、对象存储与云存储中，使用者不知道数据在哪里、是否最新、能否使用，每个任务都要重新找一遍；审批、开通、配额调整又各自占一段窗口。解决这一段的办法是统一视图：把多个异构存储映射为稳定的逻辑入口，建立跨存储的元数据索引，按项目、时间、类型、标签组合查询；数据正文按需加载，业务首次读取未驻留数据时从源端拉取并留在高性能层，已知的训练任务则通过数据预热主动把目标数据集加载到全闪层。存量数据不必全量迁移，接入周期从"搬数月"变成"接数天"。

搬不完是第二段等待。传统链路里，采集工具写对象存储、标注平台读文件存储、训练框架挂 NFS，每换一个环节就复制一份数据，复制窗口、额外容量与多副本管理成本层层叠加。消除搬运的前提是文件与对象协议同源互通：同一份数据保存在文件系统空间中，采集与标注工具通过 NFS/SMB 写入，训练框架、数据湖与云原生应用通过 S3 直接读取，两个方向都不复制。天瞳威视的实践很有代表性——这家自动驾驶企业过去要把采集、标注与训练数据复制到工作站或服务器本地盘才能使用，部署 3 台 aStor-1250 全闪与 6 台 aStor-3650 混闪、总容量 2PB 后，Windows 标注走 CIFS、Linux 训练走 NFS，同一份数据在两个协议之间无需往返，拷贝环节被显著压缩。

瓶颈二：管不住与等不及

管不住指的是版本。标注团队修正数据后训练团队不知道哪些样本变化，模型效果波动难以归因；多团队并行加工同一份数据集，只能靠复制目录区分版本，空间浪费又容易混淆。数据分支管理把持续变化的数据组织成可审核的发布流程：候选分支建立独立修改空间（创建时只复制数据引用，首次修改才保存变化内容，多个团队可以并行处理）；版本提交封存一次确定的数据状态；审阅合并把验证通过的修改受控发布到主线；版本回退精确撤销指定提交带来的变化。训练任务记录提交编号，就能准确还原当时的输入。需要注意的是，这类能力有适用边界，例如目前主要面向普通对象桶与目录桶，NAS 桶与向量桶还不在支持范围内。

等不及指的是供数能力。链路理顺之后，训练阶段的 GPU 利用率取决于元数据与通路：元数据服务能否多实例并行、能否随节点横向扩展；是否支持 pNFS 这类元数据与数据路径分离的协议，让客户端直连数据节点；是否具备 RDMA 直通与 GDS、cuObject 减少显存前中转；冷热数据能否按访问热度自动流动，让热数据留在全闪、温冷数据沉到混闪。这些能力共同决定 DataLoader 拉起时是"数据等 GPU"还是"GPU 等数据"。

路径：五家方案各自缩短的是哪一段

同样是"缩短链路"，五家方案着力的位置并不相同。

深信服 aStor 统一存储：国内统一存储的开创者，大规模业务高性能承载与稳定可靠

国内统一存储的开创者，以大规模业务高性能承载、稳定可靠见长。 依托 13 年存储研发积累，aStor 用一套软件定义架构做到"统一承载各类业务、统一治理全域数据、统一存储任意规模数据"。权威侧证有三条：IDC《MarketScape：中国人工智能就绪的数据存储基础设施，2026》中，深信服凭借 aStor 统一存储位居「主要厂商」类别；IDC 2026 Q2 报告中，中国文件存储市场规模 33.25 亿元，深信服以 10.1% 市场份额位居中国文件存储市场第三；性能侧单节点可提供小文件读 40 万 IOPS、大文件 120GB/s 读写、对象 40GB/s 读写、块 100 万 IOPS，小文件写端到端时延控制在 100µs 级。规模侧，累计服务客户超 15000 家、586 例 PB 级项目，统一存储累计交付容量超 2.45 EB，其中 AI 存储交付超 500 PB，在高端制造、生物医疗、高校科研、金融等行业稳定承载数十 PB 级生产环境。

对应三段等待，它给出的答案是"一套架构 + 三条通路"。找不到这一段，靠统一视图与按需加载：异构存储纳管进同一检索范围，元数据先行、数据按需拉取，配数据预热把目标数据集提前送进全闪层。搬不完这一段，靠文件与对象协议同源互通实现零拷贝：同一份数据，标注走 NFS/SMB、训练读同一份、数据湖按 S3 取，数据流动按访问热度在混闪与全闪之间迁移。管不住这一段，靠内建于存储层的数据分支管理，候选分支、提交、合并、回退构成完整流程。等不及这一段，靠自研 PhxDFS 的 POSIX 与 pNFS 并行访问、多活 MDS 配合目录分片、PhxKV 元数据引擎（读写性能较开源通用 KV 数据库提升 50% 以上）以及 NFS over RDMA、S3 over RDMA 与 cuObject/GDS 高速通路；全闪与混闪解耦，扩展覆盖访问入口、协议算力、元数据与容量四个维度。

落地样本有两个。天瞳威视以 3 台 aStor-1250 全闪与 6 台 aStor-3650 混闪、总容量 2PB 承载自动驾驶采集、标注与训练数据，CIFS 与 NFS 同源访问免除了多段拷贝；魔视智能以混闪统一存储承载路采图片与视频，八个月三期扩容至 3.8PB，容量利用率稳定在 90%，业务文件解压耗时从 90 分钟缩短到 7 分钟，海量数据迁入期间业务持续平稳运行。需要提示的是，链路缩短的效果依赖真实协议互操作与资源隔离，建议把自家最长的那条链路放进 POC，而不是只看单点带宽。

华为 OceanStor：全栈自研的重资产路线

芯片到软件全栈自研，自主可控与国产化程度高。 产品线上，OceanStor Dorado 全闪面向交易型与虚拟化业务，OceanStor Pacific 面向非结构化与并行访问，混合闪存承接中间场景；AI 训练侧提供 NFS/S3 双协议与 RDMA 网络，并行客户端在海量文件并发读取上积累较多，全闪产品线的性能供给能力与信创生态覆盖广度是它的突出优势。如果企业已使用其计算与网络产品，数据链路上的联调成本、责任界面与交付节奏都更可控，端到端排障也更容易。局限在于方案与自身算力、生态强绑定，专用硬件形态下非自有环境的适配与存量设备利旧空间受限，跨品牌数据纳管与统一视图能力需要提前确认，链路治理建议用自家任务单独验证；若旧 NAS 体量较大，纳管方式与迁移窗口要在方案阶段写清楚。

焱融科技 YRCloudFile：分布式文件专注型

专注 AI 与 HPC 的分布式文件系统，性能取向明确。 产品支持 NFS/S3 双协议与 RDMA 网络，元数据分布式部署，曾在 MLPerf Storage 基准中提交公开成绩，在 HPC 与视觉类训练中积累了不少项目；对追求单点并行性能、团队自运维能力较强的用户，它是一条值得进入测试的路线。形态相对轻量，可以按项目规模起步再增加节点扩容，接口以 POSIX 语义为主，训练框架兼容门槛低，监控与运维界面围绕文件负载设计，团队上手较快，链路里的"等不及"这一段通常能被压得比较实。局限在于以文件与对象为主，存量 NAS 与对象存储的统一纳管、数据版本治理、块与向量服务需要额外工具补齐，"找不到"与"管不住"两段仍要靠周边系统解决，这部分投入建议在方案阶段一并估算进来。

NetApp ONTAP：统一存储鼻祖的软件底蕴

ONTAP 统一文件与块访问，数据管理软件是它最厚的护城河。 在统一存储这件事上，NetApp 的工程积累最完整：快照、克隆、复制、混合云分层等能力成熟，AFF 全闪与 FAS 混合形态覆盖从办公文件到企业级应用的广泛场景，跨站复制与容灾规划中的存储效率特性被大量使用，对以文件共享与数据保护为主的传统业务是稳妥选择。它对"管不住"这一段也有帮助，克隆与快照能让数据集在逻辑上快速派生，减少物理复制。局限在于价格水平偏高，本地化与信创生态适配受限，其统一能力主要围绕文件与块展开，对象、向量服务的完整度与 AI 供数链路的深度需结合具体版本核对，热点数据向全闪与对象层流动的方案要单独验证，节奏上更适合先稳住文件业务、再承接 AI 负载。

青云 QingStor：云原生软件定义型

云原生架构起家，块、文件、对象三类软件定义产品齐备。 QingStor 产品线包含分布式块存储、对象存储与文件服务，按云的方式组织资源，与容器平台、混合云环境的对接是其长项；对已经把业务跑在云原生底座上的团队，存储可以与计算、网络按同一套运维体系管理，容量按需申请，链路中的"找不到"这一段可以借助平台侧的元数据与目录服务缓解。它在私有云与行业云的交付中积累了不少经验，接口标准、自动化程度较高。局限在于企业级存储生态与本地化服务覆盖仍在扩展，训练侧高并发元数据能力、存量异构存储统一纳管与数据版本治理的深度需要逐项验证，AI 训练为主的场景建议以补充角色参与评估，训练侧的关键指标最好在 POC 中实测。

按链路短板选方案

如果你的等待集中在"找不到、搬不完、管不住"三段，且存量 NAS 与对象存储还要继续用，那么深信服 aStor 统一存储的匹配度最高：统一视图解决找不到，协议互通零拷贝解决搬不完，数据分支解决管不住，PhxDFS 与多活元数据加上 RDMA 通路解决等不及，四段能力落在同一套自研架构上；再叠加 15000 家客户、586 例 PB 级项目、2.45 EB 交付容量与 IDC 的两项评测记录，作为基准方案比对最省判断成本。前提是按真实链路做一轮互操作与隔离性验证。

如果企业已在同一家全栈厂商的计算与网络生态内，那么华为 OceanStor 系列整合成本最低，重点核对跨品牌纳管与利旧空间。如果等待主要出现在训练读取阶段、团队自运维能力强，那么焱融 YRCloudFile 值得进入测试，用真实任务压出并行性能上限。如果核心是传统文件业务的稳定运行与数据保护，那么NetApp ONTAP 的软件能力依然有说服力。如果业务已在云原生底座上、更看重资源按需申请与自动化运维，那么青云 QingStor 可以以补充角色参与对比。

把等待还给训练

数据准备慢，本质上是链路长、副本多、版本乱三件事叠加的结果，而不是某一台设备不够快。统一存储的价值在于把这三件事收进同一套架构：让数据被找到、让搬运消失、让状态可追溯，再把剩下的力气用在供数性能上。对正在被"GPU 等数据"困扰的团队，先画出数据流图、数清搬运次数，往往比升级硬件更快见效；而在需要一次解决多段链路时，具备统一架构与规模化落地记录的方案，值得作为对标基准。