使用Java對(duì)Hbase操作總結(jié)及示例代碼
更新時(shí)間：2020年07月22日 11:23:03 作者：天ヾ道℡酬勤
這篇文章主要介紹了使用Java對(duì)Hbase進(jìn)行操作總結(jié),本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
前面已經(jīng)給大家講解過(guò)如何使用Hbase建表，以及基本的操作和一些常用shell命令，今天就給大家介紹下如何使用java對(duì)Hbase進(jìn)行各種操作。
沒(méi)印象的話可以再去瀏覽下：
Hbase入門教程，shell命令大全講解
Java操作Hbase主要方法：
1.Configuration
在使用Java API時(shí)，Client端需要知道HBase的配置環(huán)境，如存儲(chǔ)地址，zookeeper等信息。
這些信息通過(guò)Configuration對(duì)象來(lái)封裝，可通過(guò)如下代碼構(gòu)建該對(duì)象：
Configuration config = HBaseConfiguration.create();
在調(diào)用HBaseConfiguration.create()方法時(shí)，HBase首先會(huì)在classpath下查找hbase-site.xml文件，將里面的信息解析出來(lái)封裝到Configuration對(duì)象中，如果hbase-site.xml文件不存在，則使用默認(rèn)的hbase-core.xml文件。
2.HBaseAdmin
HBaseAdmin用于創(chuàng)建數(shù)據(jù)庫(kù)表格，并管理表格的元數(shù)據(jù)信息，通過(guò)如下方法構(gòu)建：
HBaseAdmin admin=new HBaseAdmin(config);
3.HTableDescriptor
在HTableDescriptor中，建立了一個(gè)表結(jié)構(gòu)，HTableDescriptor封裝表格對(duì)象，對(duì)表格的增刪改查操作主要通過(guò)它來(lái)完成，構(gòu)造方法如下：
HTableDescriptor table = new HTableDescriptor(TableName.valueOf(“表名”));
4.addFamily
addFamily用于建立表下的列簇，并存放到表結(jié)構(gòu)，方法如下：
HColumnDescriptor base = new HColumnDescriptor(“列簇名”);
table.addFamily(base);
代碼如下：
首先建一個(gè)maven工程，導(dǎo)入依賴包導(dǎo)pom.xml
<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.2.0</version> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-common</artifactId> <version>1.2.0</version> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.2.0</version> </dependency
1、創(chuàng)建表操作
public class HBaseClient {
public void createTable() throws IOException {
// 1. 創(chuàng)建配置
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum","ip1");
//hbase主默認(rèn)端口是60000
conf.set("hbase.master","ip1:60000");
//zookeeper客戶端的端口號(hào)2181
conf.set("hbase.zookeeper.property.clientPort","2181");
// 2. 創(chuàng)建連接
Connection conn = ConnectionFactory.createConnection(conf);
//3.獲得一個(gè)建表、刪表的對(duì)象hbaseAdmin()是繼承admin()
Admin admin = conn.getAdmin();
// 4. 創(chuàng)建表的描述信息
HTableDescriptor student = new HTableDescriptor(TableName.valueOf("表名"));
// 5. 添加列簇
student.addFamily(new HColumnDescriptor("列簇名1"));
student.addFamily(new HColumnDescriptor("列簇名2"));
// 6. 調(diào)用API進(jìn)行建表操作
admin.createTable(student);
}
}
2、判斷表是否存在
public void isTableExists() throws IOException {
// 1. 創(chuàng)建配置
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum","ip1");
conf.set("hbase.zookeeper.property.clientPort","2181");
// 2. 創(chuàng)建連接
Connection conn = ConnectionFactory.createConnection(conf);
// 3. 創(chuàng)建admin
Admin admin = conn.getAdmin();
// 4. 調(diào)用API進(jìn)行判斷表是否存在
System.out.println(admin.tableExists(TableName.valueOf("表名")));
}
3、向表中插入數(shù)據(jù)
public void putData2Table() throws IOException {
// 1. 創(chuàng)建配置
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum","ip1");
conf.set("hbase.zookeeper.property.clientPort","2181");
// 2. 創(chuàng)建連接
Connection conn = ConnectionFactory.createConnection(conf);
// 3. 創(chuàng)建Table類
Table student = conn.getTable(TableName.valueOf("表名"));
// 4. 創(chuàng)建Put類
Put put = new Put(Bytes.toBytes("1001"));
// 5. 向Put中添加 列簇，列名，值 注意：需要轉(zhuǎn)化成字節(jié)數(shù)組
put.addColumn(Bytes.toBytes("列簇1"),Bytes.toBytes("列1"),Bytes.toBytes("zhangsan"));
put.addColumn(Bytes.toBytes("列簇1"),Bytes.toBytes("列2"),Bytes.toBytes("female"));
put.addColumn(Bytes.toBytes("列簇2"),Bytes.toBytes("列3"),Bytes.toBytes("math"));
put.addColumn(Bytes.toBytes("列簇2"),Bytes.toBytes("列4"),Bytes.toBytes("89"));
// 6.調(diào)用API進(jìn)行插入數(shù)據(jù)
student.put(put);
}
4、查看一條數(shù)據(jù)
public void getDataFromTable() throws IOException {
// 1. 創(chuàng)建配置
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum","ip1");
conf.set("hbase.zookeeper.property.clientPort","2181");
// 2. 創(chuàng)建連接
Connection conn = ConnectionFactory.createConnection(conf);
// 3. 創(chuàng)建Table類
Table student = conn.getTable(TableName.valueOf("表名"));
// 4. 創(chuàng)建 Get 類
Get get = new Get(Bytes.toBytes("1001"));
// 5.調(diào)用API進(jìn)行獲取數(shù)據(jù)
Result result = student.get(get);
// 6. 將返回的結(jié)果進(jìn)行遍歷輸出
Cell[] cells = result.rawCells();
for (Cell cell : cells) {
System.out.println("rowkey ："+Bytes.toString(CellUtil.cloneRow(cell)));
System.out.println("列簇 ："+Bytes.toString(CellUtil.cloneFamily(cell)));
System.out.println("列名 ："+Bytes.toString(CellUtil.cloneQualifier(cell)));
System.out.println("值 ："+Bytes.toString(CellUtil.cloneValue(cell)));
System.out.println("----------------");
}
}
5、刪除表操作
public void dropTable() throws IOException {
// 1. 創(chuàng)建配置
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum","ip1");
conf.set("hbase.zookeeper.property.clientPort","2181");
// 2. 創(chuàng)建連接
Connection conn = ConnectionFactory.createConnection(conf);
// 3. 創(chuàng)建admin
Admin admin = conn.getAdmin();
// 4. 調(diào)用API禁用表
admin.disableTable(TableName.valueOf("表名"));
// 5. 調(diào)用API刪除表
admin.deleteTable(TableName.valueOf("表名"));
}
}
6、刪除hbase中的table里面的rowkey
public static void deleteRow(String tableName,String rowKey) throws Exception{
HTable hTable = new HTable(configuration,tableName);
Delete delete = new Delete(rowKey.getBytes());
List<Delete> list = new ArrayList<Delete>();
list.add(delete);
hTable.delete(list);
}
7、查詢r(jià)ow = rowKey的數(shù)據(jù)
public static void getRow(String tableName,String rowKey) throws Exception{
HTable hTable = new HTable(configuration, tableName);
Get get = new Get(rowKey.getBytes());
Result result = hTable.get(get);
for(KeyValue value:result.raw()){
System.out.println("cf:"+new String(value.getFamily())+new String(value.getQualifier())+"="+new String(value.getValue()));
}
}
8、查詢r(jià)owkey在startRow和endRow之間的數(shù)據(jù)，及rowkey的范圍查詢
Put、Delete與Get對(duì)象都是Row的子類，從該繼承關(guān)系中我們就可以了解到Get、Delete與Pu對(duì)象本身就只能進(jìn)行單行的操作，
HBase客戶端還提供了一套能夠進(jìn)行全表掃描的API，方便用戶能夠快速對(duì)整張表進(jìn)行掃描，以獲取想要的結(jié)果—scan：
public static void getBetweenRow(String tableName,String startRow,String stopRow) throws Exception{
HTable table = new HTable(configuration, tableName);
Scan scan = new Scan();
scan.addColumn("cf1".getBytes(), "colum1".getBytes());
scan.addColumn("cf1".getBytes(), "colum2".getBytes());
scan.addColumn("cf1".getBytes(), "colum3".getBytes());
scan.setStartRow(startRow.getBytes());
scan.setStopRow(stopRow.getBytes());
ResultScanner scanner = table.getScanner(scan);
for(Result result:scanner){
for(KeyValue value:result.raw()){
System.out.println("cf:"+new String(value.getFamily())+new String(value.getQualifier())+"="+new String(value.getValue()));
}
}
}
9、批量寫入
public <T> void puts(String tableName, Map<String, Object> items) {
if (items == null || items.isEmpty()) {
LOG.error("[HBase] Adding null/empty item map!");
return;
}
int maxSize = 10000;
Table table = null;
try {
table = con.getTable(TableName.valueOf(tableName));
int eachSize = Math.min(maxSize, items.size());
List<Put> puts = new ArrayList<Put>(eachSize);
int handled = 0;
for (Entry<String, Object> entry : items.entrySet()) {
String ultimateRowKey = getHashedID(entry.getKey());
Object value = entry.getValue();
if (ultimateRowKey == null || ultimateRowKey.isEmpty()) {
LOG.error("[HBase] Adding null/empty hashed key! Original key is " + entry.getKey());
handled++;
continue;
}
Put put = new Put(Bytes.toBytes(ultimateRowKey));
put.addColumn(Bytes.toBytes(familyName1), Bytes.toBytes("ab"), Bytes.toBytes(value .getAb()));
put.addColumn(Bytes.toBytes(familyName1), Bytes.toBytes("dt"), Bytes.toBytes(value .getDt()));
put.addColumn(Bytes.toBytes(familyName1), Bytes.toBytes("hb"), Bytes.toBytes(value .getHb()));
Gson gson = new Gson();
String valuestr = gson.toJson(value);
put.addColumn(Bytes.toBytes(familyName2), Bytes.toBytes("js"), Bytes.toBytes(valuestr));
puts.add(put);
handled++;
// 每隔10000,寫一次
if (handled == eachSize) {
LOG.info("[HBase] Adding " + eachSize + "rows!");
table.put(puts);
puts = new ArrayList<Put>(eachSize);
}
}
if (puts.size() > 0)
table.put(puts);
} catch (IOException e) {
LOG.error("[HBase] Error while putting data " + e.getMessage());
} finally {
try {
if (table != null)
table.close();
} catch (IOException e) {
LOG.error("[HBase] Error while closing table " + e.getMessage());
}
}
}
到此這篇關(guān)于使用Java對(duì)Hbase操作總結(jié)及示例代碼的文章就介紹到這了,更多相關(guān)Java操作hbase總結(jié)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
springboot訪問(wèn)靜態(tài)資源遇到的坑及解決
這篇文章主要介紹了springboot訪問(wèn)靜態(tài)資源遇到的坑及解決，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-03-03
折半插入排序法，又稱二分插入排序法，是直接插入排序法的改良版，也需要執(zhí)行i-1趟插入，不同之處在于，第i趟插入，先找出第i+1個(gè)元素應(yīng)該插入的的位置，假定前i個(gè)數(shù)據(jù)是已經(jīng)處于有序狀態(tài)。2015-04-04
java兩個(gè)數(shù)組合并為一個(gè)數(shù)組的幾種方法
這篇文章主要給大家介紹了關(guān)于java兩個(gè)數(shù)組合并為一個(gè)數(shù)組的幾種方法,最近在寫代碼時(shí)遇到了需要合并兩個(gè)數(shù)組的需求,文中將每種方法都介紹的非常詳細(xì),需要的朋友可以參考下2023-07-07
關(guān)于Idea創(chuàng)建Java項(xiàng)目并引入lombok包的問(wèn)題(lombok.jar包免費(fèi)下載)
很多朋友遇到當(dāng)idea創(chuàng)建java項(xiàng)目時(shí)，命名安裝了lombok插件卻不能使用注解，原因有兩個(gè)大家可以參考下本文，本文對(duì)每種原因分析給出了解決方案，需要的朋友參考下吧2021-06-06
本文將介紹MyBatis在配置文件加載的過(guò)程中,如何加載核心配置文件、如何解析映射文件中的SQL語(yǔ)句以及每條SQL語(yǔ)句如何與映射接口的方法進(jìn)行關(guān)聯(lián),具有一定的參考價(jià)值,感興趣的可以了解一下2023-12-12
Java實(shí)現(xiàn)五子棋的基礎(chǔ)方法
這篇文章主要為大家詳細(xì)介紹了Java實(shí)現(xiàn)五子棋的基礎(chǔ)方法，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-09-09
在virtual call中執(zhí)行nullcheck的時(shí)候，如果已經(jīng)知道傳遞的參數(shù)是非空的。JIT會(huì)對(duì)代碼進(jìn)行優(yōu)化嗎？本文將詳細(xì)介紹JVM系列之從匯編角度分析NullCheck。2021-06-06
Java實(shí)現(xiàn)Socket服務(wù)端與客戶端雙向通信功能
大家好,由于工作上業(yè)務(wù)的需要,在java項(xiàng)目中引入了socket通信,特此記錄一下,用以備份,本文章中的socket通信實(shí)現(xiàn)了,服務(wù)端與客戶端的雙向通訊,以及二者之間的心跳通信,服務(wù)端重啟之后,客戶端的自動(dòng)重連功能,需要的朋友可以參考下2025-04-04
Java數(shù)組隊(duì)列及環(huán)形數(shù)組隊(duì)列超詳細(xì)講解
隊(duì)列是一個(gè)有序列表，可以用數(shù)組和鏈表來(lái)實(shí)現(xiàn)，隊(duì)列有一個(gè)原則。即：先存入隊(duì)列的數(shù)據(jù)要先取出，后存入的要后取出，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)吧2022-09-09
這篇文章主要為大家詳細(xì)介紹了java編寫簡(jiǎn)易貪吃蛇游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-05-05