快捷導(dǎo)航

MapReduce中ArrayWritable 使用指南

更新時間：2014年08月31日 10:29:22 投稿：hebedich

MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運算。概念"Map(映射)"和"Reduce(歸約)"和他們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。他極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。

在編寫MapReduce程序時，Map和Reduce之間傳遞的數(shù)據(jù)需要是ArrayList類型的，在調(diào)試運行時遇到了這樣的一個錯誤：

java.lang.RuntimeException: java.lang.NoSuchMethodException: org.apache.hadoop.io.ArrayWritable.<init>()

經(jīng)查詢官網(wǎng)API文檔后發(fā)現(xiàn)這樣的一段話：

A Writable for arrays containing instances of a class. The elements of this writable must all be instances of the same class. If this writable will be the input for a Reducer, you will need to create a subclass that sets the value to be of the proper type. For example: public class IntArrayWritable extends ArrayWritable { public IntArrayWritable() { super(IntWritable.class); } }

原來是要自己實現(xiàn)一個ArrayWritable類的派生類，使用時只要實現(xiàn)兩個構(gòu)造函數(shù)即可

public static class TextArrayWritable extends ArrayWritable {
 public TextArrayWritable() {
 super(Text.class);
 }
 
 public TextArrayWritable(String[] strings) {
 super(Text.class);
 Text[] texts = new Text[strings.length];
 for (int i = 0; i < strings.length; i++) {
 texts[i] = new Text(strings[i]);
 }
 set(texts);
 }
}

您可能感興趣的文章:

相關(guān)文章

maven如何查看jar的pom引入來源
這篇文章主要介紹了maven查看jar的pom引入來源,本文通過圖文并茂的形式給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2023-07-07
Java實現(xiàn)文件圖片的預(yù)覽和下載功能
這篇文章主要為大家詳細介紹了如何使用Java實現(xiàn)文件圖片的預(yù)覽和下載功能,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下
2025-04-04
java 使用正則表達式去除前后空格
這篇文章主要介紹了java 使用正則表達式去除前后空格，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2021-04-04
Springboot 如何使用 SaToken 進行登錄認證、權(quán)限管理及路由規(guī)則接口攔截
Sa-Token 是一個輕量級 Java 權(quán)限認證框架,主要解決：登錄認證、權(quán)限認證、單點登錄、OAuth2.0、分布式Session會話、微服務(wù)網(wǎng)關(guān)鑒權(quán) 等一系列權(quán)限相關(guān)問題,這篇文章主要介紹了Springboot 使用 SaToken 進行登錄認證、權(quán)限管理以及路由規(guī)則接口攔截,需要的朋友可以參考下
2024-06-06
java設(shè)計模式責(zé)任鏈模式原理案例詳解
一個事件需要經(jīng)過多個對象處理是一個挺常見的場景，譬如采購審批流程，請假流程，軟件開發(fā)中的異常處理流程，web請求處理流程等各種各樣的流程，可以考慮使用責(zé)任鏈模式來實現(xiàn)
2021-09-09
java實現(xiàn)解析json復(fù)雜數(shù)據(jù)的第三種思路詳解
這篇文章主要為大家信息介紹了java實現(xiàn)解析json復(fù)雜數(shù)據(jù)的第三種思路,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下
2024-01-01
關(guān)于SpringBoot單元測試(cobertura生成覆蓋率報告)
這篇文章主要介紹了關(guān)于SpringBoot單元測試(cobertura生成覆蓋率報告)，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2021-11-11
java中對象和JSON格式的轉(zhuǎn)換方法代碼
JSON格式可以輕松地以面向?qū)ο蟮姆绞睫D(zhuǎn)換為Java對象,下面這篇文章主要給大家介紹了關(guān)于java中對象和JSON格式的轉(zhuǎn)換方法,文中通過代碼介紹的非常詳細,需要的朋友可以參考下
2023-12-12
Java的幾個重要版本_動力節(jié)點Java學(xué)院整理
jdk8 將在2014年3月份發(fā)布,迄今為止，可能是最大更新的java版本，也是令人期待的一個版本，在Java中引入閉包概念對Java程序開發(fā)方法的影響甚至?xí)笥贘ava5中引入的泛型特征對編程方式帶來的影響
2017-06-06
基于Java編寫一個限流工具類RateLimiter
這篇文章主要為大家詳細介紹了如何基于Java編寫一個限流工具類RateLimiter,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下
2024-01-01