一、 企业级调优
Fetch抓取
Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。
在hive-default.xml.template文件中hive.fetch.task.conversion默认是more,老版本hive默认是minimal,该属性修改为more以后,在全局查找、字段查找、limit查找等都不走mapreduce。
<property>
<name>hive.fetch.task.conversion</name>
<value>more</value>
<description>
Expects one of [none, minimal, more].
Some select queries can be converted to single FETCH ta
本文介绍了Hive的企业级调优,包括Fetch抓取和本地模式。Fetch抓取允许Hive在特定查询时避免使用MapReduce,通过修改hive.fetch.task.conversion配置,可以控制何时进行Fetch抓取。而本地模式则适用于处理小数据集,通过开启hive.exec.mode.local.auto,Hive可以在单机上快速完成任务,显著减少执行时间。
订阅专栏 解锁全文

被折叠的 条评论
为什么被折叠?



