詳解java如何處理各種批量數(shù)據(jù)入庫
這里我推薦大家使用BlockingQueue,該隊列為阻塞隊列
將數(shù)據(jù)先寫入隊列中,然后開啟多個消費(fèi)線程慢慢消費(fèi)入庫。從隊列中消費(fèi)數(shù)據(jù)有兩種方式:
- 單條消費(fèi)
- 批量消費(fèi)
一、案例:人臉識別設(shè)備—開門記錄(批量消費(fèi))
1.創(chuàng)建隊列
@Component
public class RequestQueue<T> {
/**
* 獲取開門記錄隊列
*/
BlockingQueue<JSONObject> blockingQueue = new ArrayBlockingQueue<>(1000000,true);
/**
* 獲取請求隊列數(shù)據(jù)
*/
public BlockingQueue<JSONObject> getBlockingQueue(){
return blockingQueue;
}
/**
* 保存數(shù)據(jù)進(jìn)入隊列
*/
public void putJsonDataQueue(JSONObject jsonObject){
try {
getBlockingQueue().put(jsonObject);
}catch (Exception e){
e.printStackTrace();
}
}
}
2.創(chuàng)建消費(fèi)隊列任務(wù)
@Component
public class DoorOpeningRecordTask extends Thread{
@Autowired
private RequestQueue requestQueue;
@Autowired
private DoorOpeningRecordService doorOpeningRecordService;
@Override
public void run(){
while(true){
try {
//取出信息列表
List<JSONObject> list = new ArrayList<>();
//參數(shù)列表: 獲取隊列 數(shù)據(jù) 批量處理一百條 500毫秒
Queues.drain(requestQueue.getBlockingQueue(), list, 100, 500, TimeUnit.MILLISECONDS);
//對數(shù)據(jù)進(jìn)行保存
doorOpeningRecordService.save(list);
}catch (Exception e){
e.printStackTrace();
}
}
}
}
3.監(jiān)聽隊列信息
@Component
public class QueueListener {
@Autowired
private DoorOpeningRecordTask doorOpeningRecordTask;
/**
* 初始化時啟動監(jiān)聽請求隊列
*/
@PostConstruct
public void init() {
doorOpeningRecordTask.start();
}
/**
* 銷毀容器時停止監(jiān)聽任務(wù)
*/
@PreDestroy
public void destory() {
doorOpeningRecordTask.interrupt();
}
}
到此這篇關(guān)于詳解java如何處理各種批量數(shù)據(jù)入庫的文章就介紹到這了,更多相關(guān)java處理數(shù)據(jù)入庫內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
SpringBoot實(shí)現(xiàn)本地與遠(yuǎn)程方法調(diào)用的無縫切換
如何能在不修改大量業(yè)務(wù)代碼的情況下,實(shí)現(xiàn)從本地方法調(diào)用到遠(yuǎn)程方法調(diào)用(RPC)的平滑切換呢,下面小編就來和大家分享一種方法,希望對大家有所幫助2025-06-06
Springboot基于maven打包分離lib及resource
這篇文章主要介紹了Springboot基于maven打包分離lib及resource,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-10-10
spring中的@Value讀取配置文件的細(xì)節(jié)處理過程
這篇文章主要介紹了spring中的@Value讀取配置文件的細(xì)節(jié)處理過程,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09
JDK多版本共存并自由切換的操作指南(本文為JDK8和JDK17)
本文介紹了如何在Windows系統(tǒng)上配置多版本JDK(以JDK8和JDK17為例),并通過圖文結(jié)合的方式給大家講解了詳細(xì)步驟,具有一定的參考價值,需要的朋友可以參考下2025-03-03
基于JTable的列寬與內(nèi)容自適應(yīng)的實(shí)現(xiàn)方法
本篇文章是對JTable的列寬與內(nèi)容自適應(yīng)的實(shí)現(xiàn)方法進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-05-05
spring @schedule注解如何動態(tài)配置時間間隔
這篇文章主要介紹了spring @schedule注解如何動態(tài)配置時間間隔,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-11-11
在Spring?MVC中使用@ControllerAdvice創(chuàng)建全局異常處理器的方法
在Spring?MVC中,可以使用@ControllerAdvice或@RestControllerAdvice注解來定義全局異常處理器類,并使用?@ExceptionHandler注解來定義處理特定異常的方法,本文就給大家介紹了Spring?MVC?@ControllerAdvice創(chuàng)建處理器的方法,需要的朋友可以參考下2023-08-08

