Alluxio

10
获赞数
5
关注数
15
粉丝数
IP 属地北京
2021-08-26 加入
浏览 7.2k

Alluxio系统(原名Tachyon)是全球首个分布式超大规模数据编排系统,孵化于加州大学伯克利分校AMP实验室。自项目开源以来,已有超过来自300多个组织机构的1200多位贡献者参与开发。Alluxio能够在跨集群、跨区域、跨国家的任何云中将数据更紧密地编排接近数据分析和AI/ML应用程序,从而向上层应用提供内存速度的数据访问。Alluxio公司旨在基于该开源软件推广商业化应用。目前,Alluxio的智能数据分层和数据管理功能为金融服务、高科技、零售和电信等诸多领域客户提供了长期业务支持,并已在全球Web规模的现代化数据服务的生产环境中得到验证,全球十大互联网公司中有八家在生产环境中部署了Alluxio。

34 声望|新手
大数据
32
presto
15
sql
13
hadoop
11
olap
10
黄金勋章
暂未获得该勋章
如何获得
2 白银勋章
个人动态
  • 发布了文章5 月 30 日
    Alluxio Enterprise AI 3.6加速模型分发、优化checkpoint写入并增强多租户支持
    近日,AI 与数据加速平台 Alluxio 正式推出 Alluxio Enterprise AI 3.6 版本,该版本在模型分发、checkpoint 写入优化及多租户支持方面实现突破性创新。此次升级将帮助企业显著缩短AI模型部署周期、减少训练时间,并确保在多云环境中的数据无缝访问。
  • 发布了文章5 月 30 日
    架构分享|三层存储架构加速云端大模型推理
    Inferless :无服务器 GPU 推理无需管理服务器即可扩展机器学习推理,轻松部署复杂的自定义模型。获得Sequoia、Antler 和 Blume Ventures 的支持。
  • 发布了文章5 月 27 日
    韩国电商巨头Coupang如何利用分布式缓存加速机器学习模型训练
    在Alluxio近期举办的线上技术讲座中,Coupang资深后端工程师Hyun Jun Baek 分享了Coupang如何利用分布式缓存加速机器学习模型训练。本文提炼了Hyun分享的核心观点,重点介绍了Coupang的分布式缓存方案如何重塑其跨区域混合云机器学习平台。
  • 发布了文章3 月 27 日
    Alluxio 携手 vLLM Production Stack 加速大语言模型推理
    近日,Alluxio 宣布与芝加哥大学 LMCache 实验室开发的 vLLM Production Stack 项目达成战略合作。作为大语言模型(LLM)推理领域的开源项目,vLLM Production Stack 旨在为 LLM 推理提供高效的集群级全栈解决方案。此次合作将深度融合双方技术优势,共同推动新一代 ...
  • 发布了文章3 月 27 日
    后DeepSeek时代,Alluxio重塑企业AI存储基础设施
    随着 2025 年 DeepSeek 等大语言和多模态大模型的技术边界持续突破,全球 AI 训练集群规模已迈入百万卡级别,单次训练任务的数据吞吐需求突破 PB / 小时的级别。这场由算法创新驱动的 “AI 风暴” 正深刻重塑着基础设施架构的核心规则,其中,存储侧的性能、扩展性、成...
  • 发布了文章3 月 27 日
    全球跨境电商构建高性能数据访问平台实战宝典
    在数字化时代,电商已成为全球商业最具活力的领域之一。Alluxio 作为数据管理与存储领域的先锋,为电商行业的快速发展提供了重要支持,尤其在全球跨境电商的崛起中,成为企业高效运营和创新的关键力量。
  • 发布了文章1 月 23 日
    案例分享|Alluxio在媒体融合领域的应用
    桂静,就读于中国传媒大学计算机与网络空间安全学院,媒体融合与传播国家重点实验室,导师为王永滨教授。已发表论文三篇。其中 SCI 论文1篇。参与多项国家级以及省部级子课题项目。致力于媒体融合领域数据存储与处理关键技术研究。
  • 发布了文章1 月 21 日
    Alluxio 联手 Solidigm 推出针对 AI 工作负载的高级缓存解决方案
    Alluxio 作为全球领先的 AI 缓存解决方案供应商, 提供针对 GPU 驱动 AI 负载的高速缓存。其可扩展架构支持数万个节点,能显著降低存储带宽的消耗。Alluxio 在解决 AI 存储挑战方面的前沿技术在很大程度上推动了大语言模型( LLM )在全球范围内的成功。
  • 发布了文章1 月 16 日
    案例分享|Alluxio数据流转方案在联通智网的应用
    分享嘉宾陈得泳 - 中国联通大数据平台 SRE 工程师,致力于基于开源生态构建稳定、高效、安全、低成本的大数据集群。观看完整分享回放业务背景统一底座和安全基座位于不同 IDC;统一底座:承接 O 域全域网络数据,包括移动网信令、告警、故障、资源以及固网数据等基础...
  • 发布了文章1 月 7 日
    东南亚电商巨头 Shopee 加速 AI 训练的实践与探索
    分享嘉宾孙颢宁Shopee Data Infra  分布式存储开发工程师分享大纲AI 平台面临的挑战Alluxio 加速AI 训练的实践Alluxio 的性能探索Alluxio 的大版本滚动升级未来规划观看完整回放视频AI 平台面临的挑战在打造 AI 平台前,不同部门的算法团队都需要自己去申请购买云服...
  • 发布了文章2024-12-20
    南科大分享|大数据技术如何赋能大模型训练及开发
    分享嘉宾张松昕,南方科技大学统计与数据科学系研究学者,UCloud 顾问资深算法专家,曾任粤港澳大湾区数字经济研究院访问学者,主导大模型高效分布式训练框架的开发,设计了 SUS-Chat-34B 的微调流程,登顶 Open LLM Leaderboard、Opencompass 同参数量级模型榜首。
  • 发布了文章2024-12-20
    Alluxio在数据索引和模型分发中的核心价值与应用
    在当前的技术环境下,搜索、推荐、广告、大模型、自动驾驶等领域的业务依赖于海量数据的处理和复杂模型的训练。这些任务通常涉及从用户行为数据和社交网络数据中提取大量信息,进行模型训练和推理。这一过程需要强大的数据分发能力,尤其是在多个服务器同时拉取同一...
  • 发布了文章2024-12-19
    案例分享|企查查的数据降本增效之路
    “企查查”是企查查科技股份有限公司旗下的一款企业信用查询工具。2023年5月20日,企查查正式发布全球首款商查大模型——“知彼阿尔法”,该模型基于企查查覆盖的全球企业信用数据进行训练,相较于当前 AIGC(生成式人工智能)领域其它模型,“知彼阿尔法”大模型的亮点在于...
  • 发布了文章2024-12-19
    选择Alluxio来解决AI模型训练场景数据访问的五大理由
    在AI模型训练尤其是大模型领域,存储系统的性能和稳定性直接决定了模型训练、推理、部署任务的效率和成本。随着全球AI行业的爆发带来的数据规模的快速增长,如何高效管理和利用这些数据成为AI模型训练中的一大挑战。
  • 发布了文章2024-11-18
    Alluxio 在B站AI训练场景的应用
    分享嘉宾刘礼铭 bilibili 人工智能资深工程师分享提纲B站 AI 训练场景介绍;Alluxio 如何提升 AI 训练效率;未来规划观看完整视频分享B站AI的训练场景机器学习平台介绍首先,简单介绍一下B站 AI 的训练场景,整个机器学习平台的架构如下图所示:它具备了一个常规机器...
  • 发布了文章2024-11-18
    小红书多云统一数据加速层介绍
    嘉宾介绍:李亚斌小红书大数据技术专家负责小红书多云统一数据加速层的建设关于小红书小红书是年轻人的生活记录、分享平台,用户可以通过短视频、图文等形式记录生活点滴,分享生活方式。分享提纲本文主要介绍小红书多云统一数据加速层的内容,主要内容包括以下几个...
  • 发布了文章2024-11-18
    Alluxio AI助力知乎千卡模型训练
    离线机房: 专为满足大数据相关业务方需求而设计的离线计算服务中心。其主要职能是部署离线调度、离线存储以及调度平台等服务。这些服务的目标是提供高效的离线数据处理和计算能力。在离线机房中,大数据业务方可以安心进行批量数据处理和计算任务,从而满足他们对数...
  • 发布了文章2024-09-23
    Alluxio Enterprise AI on K8s 部署教程
    Alluxio Enterprise AI on K8s 部署视频视频为Alluxio Enterprise AI on K8s 部署教程。下面内容将通过文字方式主要介绍如何通过 Operator(Kubernetes 管理应用程序的扩展)在 Kubernetes 上安装 Alluxio。
  • 发布了文章2024-08-06
    对比速览 | Alluxio 企业版 v.s. 社区版
    当前诸多企业面临着日益增长的数据量和复杂的数据管理挑战。特别是在模型训练的过程中,诸如GPU短缺、GPU利用率不高等问题已经成为许多企业在技术实施中面临的挑战。同时,大数据分析中跨云数据访问速度慢、成本高等问题也给企业带来了痛点。为了应对这些挑战,企业...
  • 发布了文章2024-08-02
    案例分享|Alluxio在自动驾驶数据闭环中的应用
    中汽创智科技有限公司(以下简称“中汽创智”)由中国一汽、东风公司、南方工业集团、长安汽车和南京江宁经开科技共同出资设立。聚焦智能底盘、新能动力、智能网联三大业务领域,围绕“车端+云端+通信端”生态体系,开展前瞻、共性、平台、核心技术和产品研发及产业孵化。