我们生活在一个数据驱动的世界中。成功的领先公司已经掌握并实施了从连续收集的所有数据中提取洞察力和情报的过程。数据的使用带来了业务模型的巨变，人工智能是将所有这些数据提炼成可行见解的主要技术。

ML / DL依赖于训练和推理，这两者都需要快速执行，并且大型数据集会顺利通过管道。随着训练数据集的增长，这些算法的性能会更好，并且变得更加准确。

根据Gartner [1]的说法，“机器学习和AI计划的成功依赖于编排有效的数据管道，这些管道在AI管道的不同阶段及时地以正确的格式提供了高质量的数据。” 为了支持AI的数据密集型需求，公司需要可靠的存储解决方案，该方案在数据流水线的所有阶段(从摄取到训练和推理)都进行了优化。

IDC [2]最近的一项调查确定了AI部署的主要挑战，即处理海量数据以及相关的质量和数据管理问题。必须保持分布式数据集的高数据质量，以防止出现偏倚和不正确的模型构建，这不是一件容易的事。

随着越来越多的海量数据集涌现AI实现，欢呼的数据量产生了自己的动态和挑战。在实现AI管道的位置来回移动数据工作负载变得不切实际和/或成本过高。而是，数据保留在中央位置，并且相关的AI管道(即应用程序堆栈)根据需要进行了拉近。这称为数据重力。

混合云

本地基础架构和公共云均用于支持AI计划。在云计算领域的一端是创建于云中的云原生公司。另一类是已经投资了本地基础架构并倾向于在数据中心或边缘位置附近运行AI管道任务的组织。数据重力对AI阶段的执行位置有重大影响。

尽管云服务提供商(CSP)可以通过弹性计算和相关服务来满足AI工作负载，但数据重力是本地实施的驱动因素，使混合云成为两全其美。IDC的发现支持了这一点，即公有云在AI模型和工作负载的部署方面处于领先地位，紧随其后的是本地私有云部署。混合架构允许将公共云用于其AI知识和弹性功能，同时支持跨边界无缝访问的本地数据存储。

AI和ML / DL针对不同的数据类型进行训练，这需要不同的性能。因此，系统必须包含正确的存储技术组合。混合架构可同时满足规模和性能需求。

对象存储

对象存储是AI的首选技术，因为：(a)使用AWS S3 API在私有云和公共云存储之间进行无缝访问;(b)本机元数据标记功能;以及(c)无限扩展。

对象存储技术是CSP不必要地发明的，早在2006年，AWS简单存储服务(S3)就作为第一个对象存储实现而启动。AWSS3 API从此成为事实上的标准。因此，对象存储与AWS S3 API固有地兼容，这使其成为往返公共云的正确跳板，因此成为混合AI部署的基础。再次根据定义，元数据标记被烘焙到对象存储中，这使其成为AI中常规使用的数据分段和索引工作流的完美匹配。人工智能的海量数据集以其固有的无限的云规模容量对象存储而闻名。

AI数据集通常达到PB级，其性能要求可能会使整个基础架构无法承受。因此，AI不适合在传统基础架构上运行，这些基础架构面临挑战，无法满足规模，弹性，计算能力，性能和数据管理的需求。

处理此类大规模培训和测试数据集时，解决存储瓶颈(延迟和/或吞吐量问题)以及容量限制/障碍是成功的关键因素。AI / ML / DL工作负载需要一种存储架构，该架构可以保持数据流过管道，同时具有出色的原始I / O性能和容量扩展能力。

可以使用经典的两层体系结构来实现这种解决方案，其中一层专用于高性能闪存，而第二层则提供可伸缩的对象存储。通常将其实现为两个独立的存储服务器集群，以传递数据以加油并加速AI火箭。