hive teztez引擎和mr引擎的区别

来源：蜘蛛抓取(WebSpider) 时间：2017-05-24 09:11 标签： hive on tez安装
Hive-On-Tez性能测试_Java_ThinkSAAS
Hive-On-Tez性能测试
Hive-On-Tez性能测试
内容来源： 网络
Table of Contents
Hive-On-Tez测试
在MRR和MPJ计算模型的处理上，TEZ能够提升的性能较为明显，具体测试如下：
MRR计算模型测试
测试表格
1.users(id,name,password): 数据总量1千万条记录；
2.peoples(id,name,gender,address): 数据总量1千万条记录；
3.gender_summary(gender,count)
3.address_summary(address,count)
测试语句
FROM (SELECT u.username, p.sex, p.address FROM users u
JOIN peoples p ON u.userid = p.id)
INSERT OVERWRITE TABLE gender_summary
SELECT subql.sex, count(*) GROUP BY subql.sex
INSERT OVERWRITE TABLE address_summary
SELECT subql.address, count(*) GROUP BY subql.
DAG有向无环图如下：
执行结果
基于MapReduce运行
MapReduce Jobs Launched:
Stage-Stage-2: Map: 2
Cumulative CPU: 220.78 sec
Stage-Stage-3: Map: 1
Cumulative CPU: 4.23 sec
Stage-Stage-4: Map: 1
Cumulative CPU: 4.08 sec
Total MapReduce CPU Time Spent: 3 minutes 49 seconds 90 msec
Time taken: 186.853 seconds
3次执行分别用时：186.853、188.748、191.812，平均用时：189.13秒。
基于TEZ运行
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Map 1 ..........
Map 5 ..........
Reducer 2 ......
Reducer 3 ......
Reducer 4 ......
--------------------------------------------------------------------------------
VERTICES: 05/05
[==========================&&] 100%
ELAPSED TIME: 56.23 s
--------------------------------------------------------------------------------
Time taken: 60.348 seconds
3次执行分别用时：60.348、60.441、61.311，平均用时：60.7秒。
时间效率上提升了近3倍左右。
MPJ计算模型测试
测试表格
1.users(id,name,password): 数据总量1千万条记录；
2.peoples(id,name,gender,address): 数据总量1千万条记录；
3.permissions(userid,name)
测试语句
SELECT u.userid, p.name, q.name FROM users u
JOIN peoples p ON u.userid = p.id
JOIN permissions q ON p.id = q.userId;
DAG有向无环图如下：
执行结果
基于MapReduce运行
MapReduce Jobs Launched:
Stage-Stage-1: Map: 3
Cumulative CPU: 177.33 sec
Total MapReduce CPU Time Spent: 2 minutes 57 seconds 330 msec
Time taken: 104.208 seconds, Fetched: 5 row(s)
3次执行分别用时：104.208、102.146、103.537。平均用时：103.297秒。
基于TEZ运行
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Map 1 ..........
Map 3 ..........
Map 4 ..........
Reducer 2 ......
--------------------------------------------------------------------------------
VERTICES: 04/04
[==========================&&] 100%
ELAPSED TIME: 47.50 s
--------------------------------------------------------------------------------
Time taken: 49.143 seconds, Fetched: 5 row(s)
3次执行分别用时：49.143、47.284、48.578。平均用时：48.335秒。
时间效率上提升了2倍多。
PHP开发框架
开发工具/编程工具
服务器环境
ThinkSAAS商业授权：
ThinkSAAS为用户提供有偿个性定制开发服务
ThinkSAAS将为商业授权用户提供二次开发指导和技术支持
让ThinkSAAS更好，把建议拿来。
开发客服微信

我要回帖

更多关于 hive on tez安装 的文章

 

随机推荐