Trafodion表与HBase表的关系

最新推荐文章于 2021-04-05 09:36:22 发布
原创 最新推荐文章于 2021-04-05 09:36:22 发布 · 991 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
QianBase/EsgynDB/Trafodion

当前文章被收录于：

QianBase/EsgynDB/Trafodion
263 篇文章 4 人学习

QianBase、EsgynDB及Trafodion都源自同一产品，Trafodion为开源版本，EsgynDB为基于Trafodion的商业版本，而QianBase则是EsgynDB面向于金融行业的定制版本分支。

订阅专栏 查看详情
本文探讨了Trafodion如何将表映射并存储为HBase表，比较了Trafodion表与HBase表之间的主要区别。Trafodion表支持SQL数据类型、复合键和索引等功能，但同时也存在一些限制。

我们已经知道，Trafodion把表映射和存储为HBase表。那么，Trafodion表与HBase有什么区别呢？与常规HBase表相比，Trafodion表又有哪些优势和劣势呢？
大致可以概括为以下，

优势

  • Trafodion表看起来是带有固定列的常规的结构化SQL表，与Oracle等关系型数据库中的表结构一致。
  • 支持关系型数据库里面常见的SQL数据类型，如date,timestamp,int,smallint,char,varchar等。
  • 支持复合键，可以有主键、簇键等，而HBase表只有一个行键(Row Key)的概念。
  • 支持索引。
  • 支持salting，可以防止出现region热点的问题。

不足

  • 由于Trafodion表使用一种固定格式表示列值，使得原生HBase应用程序难以访问。另外，它们的这种固定结构使HBase自带动态列不灵活。
DataX：通用数据采集工具，源自阿里巴巴DataX，增加了更多的读写插件，HDFS读写功能增强，支持Cassandra，ClickHouse，DBF，Hive，InfluxDB，Kudu，MySQL，Oracle，Presto（Trino），PostgreSQL ，SQL Server等数据源
02-03
DataX是一个支持主流数据库的通用数据采集工具 详细描述了如何安装部署和每个采集插件的使用方法 该项目从阿里的而来，经过了精简和改造，说明如下 功能差异说明 精简 删除了仅在阿里内部的数据库，这些数据库在非阿里集团无法使用，因此直接删除，包括： 美国存托凭证 DRDS OCS ODPS 开源软件 OTS 增加 增加了部分插件，目前包括 阅读器插件 clickhousereader dbffilereader hbase20xreader jsonfilereader Kudureader influxdbreader httpreader 作家插件 dbffilewrite 青梅作家 库杜作家 Influxdbwriter 部分插件增强功能，罗列如下 关系型数据库增加了几乎所有基本数据类型和部分复杂类型的支持 hdfswriter增加了对十进制数据类型格式的支持 hdfswriter增加了对Parquet文件格式的支持 hdfswrite增加了目录覆盖模式 hdfswriter增加了更多的文件压缩格式支持 hdfswriter的临时目录位置放入为当前写入目录下的
数据库Trafodion 调研报告
Aiky哇
10-22 1123
1.Trafodion是啥？ Trafodion是一个建立在Hadoop/HBase平台上的关系型数据库，它完全开源免费。擅长处理交易型负载的Hadoop大数据解决方案。和传统关系数据库不同的地方在于，Trafodion利用底层Hadoop的横向扩展能力，可以提供极高的扩展性。Trafodion可以借助HBase的扩展性，仅通过增加普通Linux服务器就可以增加计算和存储能力，进而支持大数据应用。 2.Trafodion的主要特性有哪些？ 完整的ANSI SQL语言支持 完整的ACID事务支持。对于
Trafodion——一个成熟的企业级SQL on HBase解决方案
chudajin2983的博客
03-15 382
简介 Trafodion是一个开源Apache项目。它提供了一个成熟的企业级SQL on HBase解决方案。Trafodion的主要设计思想是处理operational类型的工作负载，或者是传统的OLTP应用。此外，对于需要保证数据一致性，需要标准SQL开发接口，或者需要实时数据读写...
Trafodion表与HBase表如何映射
数据源的港湾
10-09 1052
我们已经知道Trafodion中的表其实是映射和存储在HBase表中的， 本文通过一个简单DEMO介绍一下Trafodion中创建的表是如何映射到HBase表。 1 创建Trafodion测试表并插入样例数据 SQL>create table mytable(a integer not null, b char(10), primary key (a)); --- SQL opera
Trafodion 安装之HBase配置优化
数据源的港湾
06-27 1522
Trafodion安装后，建议对HBase的配置参数做一些调整，如TimeOut相关，这些参数的调整可以减少甚至避免某些因为超时而导致的错误。Trafodion的安装脚本中已经做了部分HBase的配置调整，但可能不够全面，本文列出相关需要调整的参数，帮助大家在下次需要相关因为配置不当导致错误的时候可以做为借鉴。 参数 推荐值 hbase.master.distributed.log.spl
【Trafodion使用技巧篇】关于Trafodion表和Hbase表
weixin_33800463的博客
11-09 224
Trafodion表与HBase表如何映射 我们已经知道Trafodion中的表其实是映射和存储在HBase表中的， 本文通过一个简单DEMO介绍一下Trafodion中创建的表是如何映射到HBase表。 1.创建Trafodion测试表并插入样例数据 SQL>create table mytable(a integer not n...
Trafodion 查看原生HBase表
数据源的港湾
01-20 1101
前面一篇文章我们谈到从Trafodion层面可以查看有哪些Hive表，而不用从hive中查看，本文介绍如何从Trafodion中查看原生的HBase表，用到的命令是get hbase objects，关于get hbase objects的具体用法请参考官方文档： http://trafodion.incubator.apache.org/docs/sql_reference/index.html#
从HBase删除所有Trafodion表
数据源的港湾
07-24 1576
我们知道Trafodion中的所有表在HBase中都是以”TRAFODION.SCHEMA_NAME.TABLE_NAME”来命名的，如果需要卸载Trafodion且希望删除所有Trafodion表，则可以在HBase Shell中使用Disable_all及Drop_all命令，示例如下，hbase(main):005:0> disable_all 'TRAFODION.*' ... TRAFOD
Trafodion Troubleshooting-HBase is not available
数据源的港湾
03-18 524
现象 刚启动完HBase，使用Trafodion用户执行hbcheck检查hbase状态，发现HBase不可用，报错如下， HBase is not available HBase not available. Waiting 10 seconds. ZooKeeper Quorum: dev02.esgyn.cn,dev01.esgyn.cn,dev03.esgyn.cn, ZooKeeper ...
trafodion表元数据破坏，hbase数据正常情况下恢复trafodion表数据步骤
yangpengpeng2015的博客
10-30 700
trafodion元数据损坏，hbase底层数据正常情况下，可使用snapshot恢复trafodion数据
Trafodion访问原生HBase表
数据源的港湾
10-08 1215
Trafodion中所有的原生HBase表都拥有相同的表结构，通过Trafodion访问原生HBase表有两种模式：ROW和CELL。 下面通过一个例子简单介绍如何通过Trafodion来访问原生的HBase表。 1 HBase Shell下创建测试表并插入一条记录 hbase(main):001:0> create 'nativetab','colfam1' 0 row(s) in
Trafodion 查看表的创建时间与修改时间
数据源的港湾
08-26 501
Trafodion中每个对象（如表、索引等）创建后，会在元数据表中增加相应的记录，主要元数据表为"_MD_".objects。 以下是"_MD_".objects的表结构， SQL>showddl "_MD_".objects; CREATE TABLE TRAFODION."_MD_".OBJECTS ( CATALOG_NAME ...
Trafodion 使用HBase snapshot方式迁移单表
数据源的港湾
12-18 2266
在前面的一篇文章中，我们介绍了如何使用Trafodion自带的UNLOAD功能进行数据导出以及使用odb工具进行数据导入，合起来完成两个不同的Trafodion集群之间（即便是网络不联通情况）的单表迁移工作，详情请参考博客： http://blog.csdn.net/post_yuan/article/details/72964165然而，此种方式需要把数据先导成为文本文件（可能为压缩格式）然后再用
Trafodion 索引
数据源的港湾
02-20 1364
今天群里面有人问了一个问题：很多公司用Solr对HBase建二级索引，是不是如果用了Trafodion，就可以把Solr完全替代？针对Trafodion是否可以完全代替Solr这问题，至少现在看来我觉得是不会的，Trafodion目前来说是一个SQL on HBase的关系型数据库，而Solr是一个主要用来做搜索的产品，在这一点上Trafodion目前还没有比较好的解决方案可以替代Solr，Traf
Trafodion 创建表
数据源的港湾
11-02 2004
介绍 Trafodion中用CREATE TABLE语句创建一个Trafodion SQL表，这个表是底层HBase表的映射。 语法 CREATE [VOLATILE] TABLE [IF NOT EXISTS] table table-spec [SALT USING num PARTITIONS [ON (column[, column]...)]] [S
Trafodion 最多支持多少表
数据源的港湾
04-13 1518
不知道大家在各自的数据库里面都创建过多少的表，反正据我之前的经历，最多也就几百张吧，不过最近听到有人在Oracle环境中有上万张表，我就惊讶了，上万张表，那得是有多少的业务量啊？不过话说回来，最近就遇到这样的一个问题，人家Oracle存储上万张表没问题，那Trafodion如何？关于这个问题，我就来说道说道，首先，Trafodion是基于HBase，也就是说，每个Trafodion表实质上就是一个H
oracle创建表让选择salt,如何将其他RDBMS的数据到迁移到Trafodion
weixin_34170028的博客
04-05 195
本文介绍了如何将数据从现有的RDBMS迁移到Trafodion数据库。从其它的RDBMS或外部数据源向Trafodion集群中导入大量的重要数据，可以通过下面两步完美实现：在Trafodion集群中，将数据从源头导入Hive表。使用下列方法之一:在Trafodion系统中，使用一个类似Apache Sqoop的工具，将数据从远程的RDBMS(例如，MySQL或Oracle)迁移到Hive表。更多信...
Trafodion 使用snapshot扫描大表
数据源的港湾
04-19 855
在Trafodion数据库中，我们经常需要对一个超大表进行扫描，如count，或者查询大批量的数量，这无疑对性能是一个严峻的考验。 针对这种超大数据集的查询计算，Trafodion利用HBase snapshot特性提高性能，关于HBase snapshot的概念及Trafodion中如何使用snpashot提升性能如下，什么是snapshot?A snapshot is a set of met
Trafodion恢复误删表数据
yangpengpeng2015的博客
12-19 397
误删Trafodion表的恢复 假设存在test_pope_delete表，并且表中存在两条记录（你可以通过如下的示例语句进行模拟） 示例： create table test_pope_delete(id int, name varchar(32)); insert into test_pope_delete values(1, 'andy'); insert int...
Trafodion 查询表占用空间
数据源的港湾
05-19 871
本文描述如何查询一个Trafodion表实际占用的磁盘空间，我们知道，Trafodion表是存储在HBase中的，HBase是存储在对应的HDFS目录下/hbase，如下[trafodion@n12 ~]$ hadoop fs -ls / Found 7 items drwxr-xr-x - trafodion trafodion 0 2017-05-10 14:48 /bu
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据源的港湾

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值