最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Flume如何自定義Sink數(shù)據(jù)至MySQL

 更新時(shí)間:2024年10月03日 12:31:48   作者:大數(shù)據(jù)面壁者  
Flume是分布式日志收集系統(tǒng),通過自定義Sink,可實(shí)現(xiàn)將事件數(shù)據(jù)寫入MySQL,自定義Sink需繼承AbstractSink類和實(shí)現(xiàn)Configurable接口,通過process方法處理Channel數(shù)據(jù),適用于特定數(shù)據(jù)存儲(chǔ)需求

Flume自定義Sink數(shù)據(jù)至MySQL

一、介紹

Sink不斷地輪詢Channel中的事件且批量地移除它們,并將這些事件批量寫入到存儲(chǔ)或索引系統(tǒng)、或者被發(fā)送到另一個(gè)Flume Agent。

Sink是完全事務(wù)性的。在從Channel批量刪除數(shù)據(jù)之前,每個(gè)Sink用Channel啟動(dòng)一個(gè)事務(wù)。批量事件一旦成功寫出到存儲(chǔ)系統(tǒng)或下一個(gè)Flume Agent,Sink就利用Channel提交事務(wù)。事務(wù)一旦被提交,該Channel從自己的內(nèi)部緩沖區(qū)刪除事件。

Sink組件目的地包括hdfs、logger、avro、thrift、ipc、file、null、HBase、solr、自定義。官方提供的Sink類型已經(jīng)很多,但是有時(shí)候并不能滿足實(shí)際開發(fā)當(dāng)中的需求,此時(shí)我們就需要根據(jù)實(shí)際需求自定義某些Sink。

官方也提供了自定義sink的接口:

https://flume.apache.org/FlumeDeveloperGuide.html#sink根據(jù)官方說明自定義MySink需要繼承AbstractSink類并實(shí)現(xiàn)Configurable接口。

實(shí)現(xiàn)相應(yīng)方法:

  • configure(Context context)//初始化context(讀取配置文件內(nèi)容)
  • process()//從Channel讀取獲取數(shù)據(jù)(event),這個(gè)方法將被循環(huán)調(diào)用。

使用場景:

讀取Channel數(shù)據(jù)寫入MySQL或者其他文件系統(tǒng)。

二、需求

使用flume接收(id,name,string)數(shù)據(jù),并在Sink端給每條數(shù)據(jù)進(jìn)行切分,編寫JDBC驅(qū)動(dòng)將數(shù)據(jù)保存到MySQL數(shù)據(jù)庫。

三、編寫MySink

package com.flume.flume;

import org.apache.flume.*;
import org.apache.flume.conf.Configurable;
import org.apache.flume.sink.AbstractSink;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;

public class MySink extends AbstractSink implements Configurable {

    private String msgPrefix;

    /**
     * 用來保存數(shù)據(jù),不斷調(diào)用次方法
     * @return
     * @throws EventDeliveryException
     */
    @Override
    public Status process() throws EventDeliveryException {
        //獲取sink對(duì)應(yīng)的channnel
        Channel channel = getChannel();
        Connection connection = null;
        PreparedStatement statement = null;
        //獲取事務(wù)對(duì)象
        Transaction transaction = channel.getTransaction();
        try{
            //開啟事務(wù)
            transaction.begin();
            //從channel中獲取數(shù)據(jù)
            Event event = channel.take();

            //切割數(shù)據(jù)
            String data = new String(event.getBody());
            String[] arr = data.split(",");
            String id = arr[0];
            String name = arr[1];
            int age = Integer.parseInt(arr[2]);

            //保存到mysql
            //1、獲取connect
            connection = DriverManager.getConnection("jdbc:mysql://hadoop102:3306/test?useSSL=false","root","123321");
            statement = connection.prepareStatement("insert into test values(?,?,?)");
            saveToMysql(id,name,age,connection,statement);
            //模擬數(shù)據(jù)保存
            //System.out.println(msgPrefix+":"+new String(take.getBody()));
            //提交事務(wù)
            transaction.commit();

            return Status.READY;
        }catch (Exception e){
            transaction.rollback();
        }finally {
            //關(guān)閉事務(wù)
            transaction.close();
            if(statement!=null)
            //5、關(guān)閉
            {
                try {
                    statement.close();
                } catch (SQLException e) {
                    e.printStackTrace();
                }
            }
            if(connection!=null) {
                try {
                    connection.close();
                } catch (SQLException e) {
                    e.printStackTrace();
                }
            }
        }

        return Status.BACKOFF;
    }

    public void saveToMysql(String id,String name,int age,Connection connection,PreparedStatement statement) throws SQLException {

        //2、獲取statement對(duì)象
        //sql注入 【 select * from table where name='zhangsan' or 1=1】
        //connection.createStatement();

        //3、賦值
        statement.setString(1,id);
        statement.setString(2,name);
        statement.setInt(3,age);
        System.out.println(id+","+name+","+age);
        //4、保存
        statement.executeUpdate();


    }
    /**
     * 獲取sink的配置屬性
     * @param context
     */
    @Override
    public void configure(Context context) {

        msgPrefix = context.getString("msg.prefix");

    }
}

四、編寫Flume腳本

#定義agent
a1.sources = r1
a1.channels = c1
a1.sinks = k1

#定義source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 9999

#定義channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 1000

#定義sink
a1.sinks.k1.type = com.atguigu.flume.MySink
a1.sinks.k1.msg.prefix = message

#定義source、channel、sink之間的綁定關(guān)系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

五、測試

1.啟動(dòng)flume

[hadoop@hadoop102 ~]$ cd /opt/module/flume/
[hadoop@hadoop102 flume]$ bin/flume-ng agent -c conf/ -n a1 -f job/mysik.config -Dflume.root.logger=INFO,console

2.啟動(dòng)nc端口

[hadoop@hadoop102 ~]$ nc hadoop102 9999
1,ttt,8
OK

3.客戶端輸出

4.查看MySQL數(shù)據(jù)庫

總結(jié)

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • mysql8.0?my.ini?如何永久修改時(shí)區(qū)

    mysql8.0?my.ini?如何永久修改時(shí)區(qū)

    這篇文章主要介紹了mysql8.0?my.ini?如何永久修改時(shí)區(qū),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2022-07-07
  • mysql高可用之MHA用法及說明

    mysql高可用之MHA用法及說明

    MHA是MySQL高可用解決方案,實(shí)現(xiàn)0-30秒故障切換及數(shù)據(jù)一致性,Atlas是360讀寫分離中間件,提升查詢效率,兩者均用于數(shù)據(jù)庫高可用架構(gòu)優(yōu)化,MHA側(cè)重故障恢復(fù),Atlas側(cè)重負(fù)載均衡與讀寫分離
    2025-09-09
  • SQL查詢語句執(zhí)行的過程

    SQL查詢語句執(zhí)行的過程

    這篇文章主要介紹了SQL查詢語句執(zhí)行的過程,文章圍繞主題展開SQL查詢語句的相關(guān)資料,具有一定的參考價(jià)值,需要的小伙伴可以參考一下
    2022-05-05
  • 簡述MySql四種事務(wù)隔離級(jí)別

    簡述MySql四種事務(wù)隔離級(jí)別

    這篇文章主要介紹了MySql四種隔離級(jí)別,幫助大家更好的理解和學(xué)習(xí)MySQL,感興趣的朋友可以了解下
    2020-08-08
  • MySQL關(guān)聯(lián)查詢優(yōu)化實(shí)現(xiàn)方法詳解

    MySQL關(guān)聯(lián)查詢優(yōu)化實(shí)現(xiàn)方法詳解

    在數(shù)據(jù)庫的設(shè)計(jì)中, 我們通常都是會(huì)有很多張表 , 通過表與表之間的關(guān)系建立我們想要的數(shù)據(jù)關(guān)系, 所以在多張表的前提下, 多表的關(guān)聯(lián)查詢就尤為重要,這篇文章主要介紹了MySQL關(guān)聯(lián)查詢優(yōu)化
    2022-11-11
  • MySql中怎樣查詢表是否被鎖

    MySql中怎樣查詢表是否被鎖

    這篇文章主要介紹了MySql中怎樣查詢表是否被鎖問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-07-07
  • windows下mysql 8.0.12安裝步驟及基本使用教程

    windows下mysql 8.0.12安裝步驟及基本使用教程

    這篇文章主要為大家詳細(xì)介紹了windows下mysql 8.0.12安裝步驟及基本使用教程,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2019-08-08
  • mysql 5.6 從陌生到熟練之_數(shù)據(jù)庫備份恢復(fù)的實(shí)現(xiàn)方法

    mysql 5.6 從陌生到熟練之_數(shù)據(jù)庫備份恢復(fù)的實(shí)現(xiàn)方法

    下面小編就為大家?guī)硪黄猰ysql 5.6 從陌生到熟練之_數(shù)據(jù)庫備份恢復(fù)的實(shí)現(xiàn)方法。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2016-10-10
  • MySQL timestamp的類型與時(shí)區(qū)實(shí)例詳解

    MySQL timestamp的類型與時(shí)區(qū)實(shí)例詳解

    這篇文章主要介紹了 MySQL timestamp的類型與時(shí)區(qū)實(shí)例詳解的相關(guān)資料,需要的朋友可以參考下
    2016-11-11
  • MySQL Join算法原理解析

    MySQL Join算法原理解析

    本文詳細(xì)介紹了MySQL中常見的四種JOIN算法:嵌套循環(huán)連接(NLJ)、索引嵌套循環(huán)連接(INLJ)、塊嵌套循環(huán)連接(BNLJ)和基于哈希的連接(HashJoin),每種算法都有其適用場景和性能特點(diǎn),感興趣的朋友一起看看吧
    2025-02-02

最新評(píng)論

志丹县| 大悟县| 陵水| 连云港市| 读书| 达日县| 英吉沙县| 龙井市| 莱州市| 吉安市| 敖汉旗| 措美县| 阿拉尔市| 祁连县| 尼玛县| 平昌县| 上栗县| 黑龙江省| 泽库县| 东山县| 黄山市| 甘泉县| 南昌市| 南涧| 资兴市| 香港| 汕尾市| 穆棱市| 东方市| 澎湖县| 静安区| 汽车| 沁水县| 渭源县| 逊克县| 东丽区| 贵港市| 屯门区| 牙克石市| 舞钢市| 盐亭县|