博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
运用MRUnit测试mapper和reducer
阅读量:5120 次
发布时间:2019-06-13

本文共 637 字,大约阅读时间需要 2 分钟。

MRUnit可以花费时间少,并且可以分别测试mapper和reducer

步骤:

1、  运用MRUnit测试mapper和reducer

2、  执行mapreduce代码的本地化测试

3、  使用hadoop日志

4、  通过计数器跟踪执行指标

Testing Mapper的过程

1、  实例化mapdirver类,作为测试中mapper被参数化

2、  调用withmapper方法来添加想要测试的mapper实例

3、  根据情况选择withconfiguration方法设置mapper的配置文件

4、  调用withinput方法来传递所需的key和value

5、  通过调用withoutput方法设置期望的输出内容

6、  调用功能rantest方法将设置的输入值传递给mapper

Testing Reducer的过程

1、  首先创建一个用做reducer输入的intwritable对象列表

2、  实例化reducedriver对象

3、  调用withreduce方法来设置要测试的reducer实例

4、  通过withconfiguration来传递想要的配置

5、  调用withinput方法可以将输入值传递给reducer

6、  调用withoutput方法来设置期望的reducer输出

7、  最后调用runtest方法,把设置的输入传递给reducer

 

转载于:https://www.cnblogs.com/chenyaling/p/5539541.html

你可能感兴趣的文章
大家在做.NET B/S项目的时候多用什么设技术啊?
查看>>
Java SE和Java EE应用的性能调优
查看>>
Android设计模式系列--原型模式
查看>>
免费的论文查重网站
查看>>
C语言程序第一次作业
查看>>
leetcode-Sort List
查看>>
中文词频统计
查看>>
了解node.js
查看>>
想做移动开发,先看看别人怎么做
查看>>
Eclipse相关集锦
查看>>
虚拟化架构中小型机构通用虚拟化架构
查看>>
继承条款effecitve c++ 条款41-45
查看>>
HTML+CSS学习笔记(九)
查看>>
Java泛型的基本使用
查看>>
1076 Wifi密码 (15 分)
查看>>
noip模拟赛 党
查看>>
bzoj2038 [2009国家集训队]小Z的袜子(hose)
查看>>
Java反射机制及其Class类浅析
查看>>
Postman-----如何导入和导出
查看>>
移动设备显示尺寸大全 CSS3媒体查询
查看>>