一、 云原生对数据处理平台的影响
过去十年，云原生大数据人工智能系统在开源浪潮下发展迅猛，以Docker和K8S为代表的云原生技术在近些年取得了长足的发展，应用广泛，已经成为云计算的新一代重要技术。
以Hadoop、Spark、Flink为代表的大数据计算和存储系统已经成为大数据处理领域某种意义上的事实标准。在人工智能框架领域，以Tensorflow、PyTorch为代表的主流人工智能框架在用户的反复使用和社区的开发中也逐步成熟。
大数据的应用和AI的应用诞生之初面向大规模数据计算分析而设计，彼时更多的是运行在单机甚至常规固定规模的分布式集群中。
近些年，由于云原生平台在资源成本、扩容效率和高效部署方面的优势，越来越多的大数据和人工智能的框架已运行在云原生平台上。Gartner预测，到2023年，70%的AI的应用会以容器化的方式部署运行。Spark也在很早的版本上开始尝试与Kubernetes scheduler进行对接，拥抱云原生环境。
云原生计算架构正在重塑众多行业的服务与应用，其底部计算层面的关键技术包括计算存储分离、容器及其编排以及无服务器计算等，进一步往上诞生了很多重要的基础开源软件，比如云原生容器技术、云函数计算技术、云数据传输技术以及云原生存储技术这些方向的CNCF开源软件等。基于云原生开源软件可以构建很多云原生应用，进一步服务于各行各业的应用于服务。
云原生为数据处理平台带来了哪些优势？
第一，计算存储分离带来更低的扩容成本。不同应用、不同时刻对扩容存储和计算的配比都不一样，而计算存储分离的架构使得扩容变得非常灵活，成本也会更低。
第二，K8S和Docker非常好的容器及其编排技术，负载均衡变得更容易，可以灵活地对计算负载进行扩容和缩容，且可以应对不同流量。
第三，以函数计算为代表的轻量级的灵活计算，使得运行逻辑需要的资源变得更少，资源更轻，节约了成本，也更高效灵活。
任何计算框架都需要运行在基础设施上。
2012年，Hadoop技术应用较为广泛，此时大数据主要的计算引擎仅有MapReduce，底下大数据存储为HDFS，通常部署在分布式集群平台，当时也称为云平台，更接近于一个普通的集群，不易扩展。特点为计算存储要求本地化高效的并行计算，资源调度粒度通常较粗。
经过大数据时代的不断发展，用户对计算逻辑的处理要求越来越高，批计算已经难以满足很多场景的需求，出现了以社交网络为代表的图处理的需求、以实时消息数据流为代表的流处理的需求，以及迭代计算、机器学习等。底下的存储也不再仅限于HDFS，还有对象存储、NFS存储等。
总而言之，上层的计算框架和底下的数据源变得越来越丰富，并开始逐步解耦。此时，Alluxio问世，它可以对计算框架和数据源进行很好的桥接，并且实现数据统一的抽象往上层提供。框架解耦后，云平台支撑的环境的特点为支持多样化的框架，但环境维护相对复杂，不易进行弹性扩容。
如今，越来越多的应用被部署在云原生环境上，使用 K8S和Docker 来对资源进行标准化的封装和调度编排，底下的存储也变得更多样，甚至可以支持本地和公有云构建的混合存储。云原生环境下，我们对标准化数据的加速需求愈发强烈。
二、 云原生的标准化数据加速需求
数据密集型应用上云之后面临着巨大挑战。
第一，异构数据源带来的复杂性。用户需要管理很多数据源，存储系统也非常多样，难以实现最优的方案和最好的效果。
第二，计算存储分离架构下，数据密集应用需要频繁访问数据会带来IO的瓶颈，特别是算力的变化使得IO的需求不断变化，而存储分离架构难以适应。
第三，云原生环境不断地扩容缩容以及跨作业的运行，数据的感知和调度变得越来越更弱。
我们试图将数据看作商品，将存储看作超市，将应用看作消费者。
线上购物模式为：以客户为中心，商品贮藏在仓库，客户线上挑选商品， 由现代化物流交付商品，高效便捷、交易量更大。我们从线上购物模式中得到启发，发现云架构下缺少高速的数据物流（传输）概念。至此，云原生对于标准化数据的加速需求诞生。
三、 云原生数据抽象加速开源项目
我们设计了云原生数据抽象与加速的开源项目——Fluid。Fluid意为气流、流体，我们希望数据能够像云朵和气流一样，在云计算中心被高速运转、处理，而且可以便捷地被访问到。
Fluid项目建立之初需要面对三大挑战：
• 云原生环境下数据访问和存储系统的配置复杂。
• 数据访问速率需求的动态变化。
• 异构环境下数据感知调度困难。
针对上述挑战，我们提出了三个理念，分别为数据服务抽象、数据自动加速以及数据感知，实现面向应用场景的高层数据抽象与缓存自适应配套、数据处理实时感知的数据加速弹性伸缩机制，以及数据分布感知的应用运行机制和调度优化策略。
首先，我们提供了云原生级别的数据集抽象，类似于Spark的RDD，我们将其进一步泛化到云原生平台，目前仅针对于数据集的资源特性。底下每个数据集Dataset均可对接不同的存储数据源，并提供统一的标准化访问接口。同时，会为每个Dataset绑定一个分布式缓存，为数据集定制化地进行分布式缓存的优化和参数调优。
面向IO的弹性需求，我们提出了自适应扩缩容机制，类似于TCP拥塞控制协议里的感知自适应机制。当我们感知到计算应用对数据访问的需求量变大且即将成为瓶颈时，会自动对缓存系统进行水平扩容，使得对数据访问的需求可以高效地被满足。
另外，我们还提出了数据感知的应用协同编排调度，用于感知不同作业之间依赖的数据集关系，从而进行协同编排调度。
比如数据集A被J1、J3、J7依赖，数据集B被J2、J6、J8依赖。如果需要以最快速度将这批作业完成，应该对作业的次序进行合理排序，使得数据集依赖的作业尽量在一起运行，而这一切的感知需要与开发者调度进行结合。
开源Fluid系统架构利用了很多k8s组件，对K8s保持了生态低侵入性，且支持很多定制化的环境系统，包括Alluxio、JindoFS、GooseFS等。
我们对于Fluid研究的相关工作已经汇总为论文进行了发表。
南京大学与阿里云团队、Alluxio等单位联合发起的Fluid开源项目已经进入CNCF官方沙箱，得到了云计算产业的广泛关注。
相关技术也进入国际云原生技术生态体系，推动了Fluid项目的发展。Fluid开源项目入选了CNCF LandScape，并获得中国信通院尖峰开源项目奖项。
未来，我们计划支持更多类型的数据密集型应用运行在云原生平台上，为其提供高层的数据抽象。另外，面对不同的数据应用需求，考虑更复杂、更多样的调度，联合启动编排策略。最后，希望与更多云原生现有的调度和编排工具进行集成。
