第四篇 - 大主子表关联--SPL轻量级文件存储提速查询实践
这一篇介绍主键关联的提速。 主表订单表和子表明细表的关联就是主键关联。SQL 中，这种关联仍用 JOIN 实现，在两个表都很大的情况下，常常出现计算速度非常慢的现象。 如果预先将主子表都按照主键有序存储，就可以使用归并算法实现关联。这种算法只需要对两个表依次遍历，不必借助外存缓存，可以大幅降低计算量和 IO 量。...
第三篇 - 外键维表的关联：SPL轻量级文件存储提速查询实践
SQL 对关联的定义过于简单，就是两个表做笛卡尔积后再过滤，在语法上写成 A JOIN B ON …的形式。这样笼统处理多种关联，不体现关联运算本质，书写和优化都困难。 SPL 重新定义了关联。关联不再和笛卡尔积有关，而是分成两种情况：外键关联和主键关联。SPL 用不同的函数来计算不同的关联，体现关...
第一篇 - 常规过滤及分组汇总：SPL轻量级文件存储提速查询实践
我们以订单表为例实现 esProc SPL 数据外置，提速常规过滤及分组汇总计算。我们使用 SPL 的 ETL 工具来生成脚本，实现数据的转储。在 [SPL 安装目录]\esProc\bin 找到 dft.exe，运行后选择文件 - 新建 ETL。打开工具 - 数据连接：点击连接后，数据库的表可以拖拽到工作区：双...
并行文件存储在大模型训练中的探索与实践
由阿里云智能集团存储产品专家何邦剑先生分享并行文件存储在大模型训练中的探索与实践。 一、大模型训练的io特点 了解cps在大模型训练当中做了哪些创新或者实践。训练一个大模型需要考虑整个平台，考虑网络考虑存储。在计算方面，需要去看到规模不断扩大的情况下计算的故障率，包括计算架构的稳定性都是需要考虑的。 对于网络，可能需要去考虑考虑网络的延时，...
分布式文件存储与数据缓存 Redis高可用分布式实践（下）（四）
11.7 哨兵监控故障转移监控演示故障转移 #查看主节点所在端口6379进程的PID [root@localhost src]# lsof -i:6379 #杀死主节点的redis服务模拟故障 [root@localhost src]# kill -9 PID查看哨兵节点信息[root@localhost src]# ./redis-cli -p 26379 127.0.0.1:26379&...
分布式文件存储与数据缓存 Redis高可用分布式实践（下）（三）
十、Redis事务10.1 事务概念与ACID特性数据库层面事务在数据库层面，事务是指一组操作，这些操作要么全都被成功执行，要么全都不执行。数据库事务的四大特性A：Atomic，原子性，将所有SQL作为原子工作单元执行，要么全部执行，要么全部不执行；C：Consistent，一致性，事务完成后，所有数据的状态都是一致的，即A账户只要减去了100，B账户则必定加上了100；I：Isolation，....
分布式文件存储与数据缓存 Redis高可用分布式实践（下）（二）
八、Redis其他功能8.1 发布订阅什么是发布与订阅Redis 发布订阅 (pub/sub) 是一种消息通信模式：发送者 (pub) 发送消息，订阅者 (sub) 接收消息。什么时候用发布订阅看到发布订阅的特性，用来做一个简单的实时聊天系统再适合不过了。再比如，在一个博客网站中，有100个粉丝订阅了你，当你发布新文章，就可以推送消息给粉丝们拉。Redis的发布与订阅 发布订阅命令行实现订阅su....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
