最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Java利用MYSQL LOAD DATA LOCAL INFILE實(shí)現(xiàn)大批量導(dǎo)入數(shù)據(jù)到MySQL

 更新時(shí)間:2018年03月13日 15:58:22   投稿:wdc  
Mysql load data的使用,MySQL的LOAD DATAINFILE語(yǔ)句用于高速地從一個(gè)文本文件中讀取行,并裝入一個(gè)表中

Mysql load data的使用

數(shù)據(jù)庫(kù)中,最常見(jiàn)的寫入數(shù)據(jù)方式是通過(guò)SQL INSERT來(lái)寫入,另外就是通過(guò)備份文件恢復(fù)數(shù)據(jù)庫(kù),這種備份文件在MySQL中是SQL腳本,實(shí)際上執(zhí)行的還是在批量INSERT語(yǔ)句。

在實(shí)際中,常常會(huì)遇到兩類問(wèn)題:一類是數(shù)據(jù)導(dǎo)入,比如從word、excel表格或者txt文檔導(dǎo)入數(shù)據(jù)(這些數(shù)據(jù)一般來(lái)自于非技術(shù)人員通過(guò)OFFICE工具錄入的文檔);一類數(shù)據(jù)交換,比如從MySQL、Oracle、DB2數(shù)據(jù)庫(kù)之間的數(shù)據(jù)交換。

這其中就面臨一個(gè)問(wèn)題:數(shù)據(jù)庫(kù)SQL腳本有差異,SQL交換比較麻煩。但是幾乎所有的數(shù)據(jù)庫(kù)都支持文本數(shù)據(jù)導(dǎo)入(LOAD)導(dǎo)出(EXPORT)功能。利用這一點(diǎn),就可以解決上面所提到的數(shù)據(jù)交換和導(dǎo)入問(wèn)題。

MySQL的LOAD DATAINFILE語(yǔ)句用于高速地從一個(gè)文本文件中讀取行,并裝入一個(gè)表中。文件名稱必須為一個(gè)文字字符串。下面以MySQL5為例說(shuō)明,說(shuō)明如何使用MySQL的LOADDATA命令實(shí)現(xiàn)文本數(shù)據(jù)的導(dǎo)入。

注意:這里所說(shuō)的文本是有一定格式的文本,比如說(shuō),文本分行,每行中用相同的符號(hào)隔開文本等等。等等,獲取這樣的文本方法也非常的多,比如可以把word、excel表格保存成文本,或者是一個(gè)csv文件。

在項(xiàng)目中,使用的環(huán)境是快速上傳一個(gè)csv文件,原系統(tǒng)中是使用的db2數(shù)據(jù)庫(kù),然后調(diào)用了與mysql的loaddata相似的一個(gè)函數(shù)sysproc.db2load。但是loaddata在mysql的存儲(chǔ)過(guò)程是不能使用的。采取的方法時(shí)在java代碼中調(diào)用此方法。

實(shí)現(xiàn)的例子:

準(zhǔn)備測(cè)試表

SQL如下:

USE test;

CREATE TABLE `test` (
	`id` int(10) UNSIGNED NOT NULL AUTO_INCREMENT,
	`a` int(11) NOT NULL,
	`b` bigint(20) UNSIGNED NOT NULL,
	`c` bigint(20) UNSIGNED NOT NULL,
	`d` int(10) UNSIGNED NOT NULL,
	`e` int(10) UNSIGNED NOT NULL,
	`f` int(10) UNSIGNED NOT NULL,
	PRIMARY KEY (`id`),
	KEY `a_b` (`a`, `b`)
) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARSET = utf8

Java代碼如下:

package com.seven.dbTools.DBTools;

import org.apache.log4j.Logger;

import org.springframework.jdbc.core.JdbcTemplate;

import java.io.ByteArrayInputStream;
import java.io.InputStream;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;

import javax.sql.DataSource;


/**

 *
 @author seven
 *
 @since 07.03.2013
 */
public class BulkLoadData2MySQL {
  private static final Logger logger = Logger.getLogger(BulkLoadData2MySQL.class);
  private JdbcTemplate jdbcTemplate;
  private Connection conn = null;

  public void setDataSource(DataSource dataSource) {
    this.jdbcTemplate = new JdbcTemplate(dataSource);
  }

  public static InputStream getTestDataInputStream() {
    StringBuilder builder = new StringBuilder();

    for (int i = 1; i <= 10; i++) {
      for (int j = 0; j <= 10000; j++) {
        builder.append(4);

        builder.append("\t");

        builder.append(4 + 1);

        builder.append("\t");

        builder.append(4 + 2);

        builder.append("\t");

        builder.append(4 + 3);

        builder.append("\t");

        builder.append(4 + 4);

        builder.append("\t");

        builder.append(4 + 5);

        builder.append("\n");
      }
    }

    byte[] bytes = builder.toString().getBytes();

    InputStream is = new ByteArrayInputStream(bytes);

    return is;
  }

  /**

   *

   * load bulk data from InputStream to MySQL

   */
  public int bulkLoadFromInputStream(String loadDataSql,
    InputStream dataStream) throws SQLException {
    if (dataStream == null) {
      logger.info("InputStream is null ,No data is imported");

      return 0;
    }

    conn = jdbcTemplate.getDataSource().getConnection();

    PreparedStatement statement = conn.prepareStatement(loadDataSql);
    int result = 0;

    if (statement.isWrapperFor(com.mysql.jdbc.Statement.class)) {
      com.mysql.jdbc.PreparedStatement mysqlStatement = statement.unwrap(com.mysql.jdbc.PreparedStatement.class);

      mysqlStatement.setLocalInfileInputStream(dataStream);

      result = mysqlStatement.executeUpdate();
    }

    return result;
  }

  public static void main(String[] args) {
    String testSql = "LOAD DATA LOCAL INFILE 'sql.csv' IGNORE INTO TABLE test.test (a,b,c,d,e,f)";

    InputStream dataStream = getTestDataInputStream();

    BulkLoadData2MySQL dao = new BulkLoadData2MySQL();

    try {
      long beginTime = System.currentTimeMillis();

      int rows = dao.bulkLoadFromInputStream(testSql, dataStream);

      long endTime = System.currentTimeMillis();

      logger.info("importing " + rows +
        " rows data into mysql and cost " + (endTime - beginTime) +
        " ms!");
    } catch (SQLException e) {
      e.printStackTrace();
    }

    System.exit(1);
  }
}

提示:

例子中的代碼使用setLocalInfileInputStream方法,會(huì)直接忽略掉文件名稱,而直接將IO流導(dǎo)入到數(shù)據(jù)庫(kù)中。在實(shí)際的實(shí)現(xiàn)中也可以把文件上傳到服務(wù)器,然后讀文件再導(dǎo)入文件,此時(shí)load data的local參數(shù)應(yīng)該去掉,并且文件名應(yīng)該是完整的絕對(duì)路徑的名字。

最后附上LOAD DATA INFILE語(yǔ)法

LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt'
  [REPLACE | IGNORE]
 INTO TABLE tbl_name
  [FIELDS
  [TERMINATED BY 'string']
  [[OPTIONALLY] ENCLOSED BY 'char']
  [ESCAPED BY 'char' ]
 ]
  [LINES
  [STARTING BY 'string']
 [TERMINATED BY 'string']
 ]
  [IGNORE number LINES]
 [(col_name_or_user_var,...)]
  [SET col_name = expr,...]]

總結(jié)

LOADDATA是一個(gè)很有用的命令,從文件中導(dǎo)入數(shù)據(jù)比insert語(yǔ)句要快,MySQL文檔上說(shuō)要快20倍左右。但是命令的選項(xiàng)很多,然而大多都用不到,如果真的需要,用的時(shí)候看看官方文檔即可。

相關(guān)文章

  • IDEA運(yùn)行SSM項(xiàng)目的超詳細(xì)圖解教程

    IDEA運(yùn)行SSM項(xiàng)目的超詳細(xì)圖解教程

    SSM項(xiàng)目部署其實(shí)很簡(jiǎn)單,下面這篇文章主要給大家介紹了關(guān)于IDEA運(yùn)行SSM項(xiàng)目的超詳細(xì)圖解教程,文中通過(guò)圖文介紹的非常詳細(xì),需要的朋友可以參考下
    2023-10-10
  • Java源碼解析LinkedList

    Java源碼解析LinkedList

    今天小編就為大家分享一篇關(guān)于Java源碼解析LinkedList,小編覺(jué)得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來(lái)看看吧
    2019-01-01
  • Spring?security?oauth2以redis作為tokenstore及jackson序列化失敗問(wèn)題

    Spring?security?oauth2以redis作為tokenstore及jackson序列化失敗問(wèn)題

    這篇文章主要介紹了Spring?security?oauth2以redis作為tokenstore及jackson序列化失敗問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教<BR>
    2024-04-04
  • Java數(shù)據(jù)結(jié)構(gòu)及算法實(shí)例:樸素字符匹配 Brute Force

    Java數(shù)據(jù)結(jié)構(gòu)及算法實(shí)例:樸素字符匹配 Brute Force

    這篇文章主要介紹了Java數(shù)據(jù)結(jié)構(gòu)及算法實(shí)例:樸素字符匹配 Brute Force,本文直接給出實(shí)例代碼,代碼中包含詳細(xì)注釋,需要的朋友可以參考下
    2015-06-06
  • Java時(shí)間輪調(diào)度算法的代碼實(shí)現(xiàn)

    Java時(shí)間輪調(diào)度算法的代碼實(shí)現(xiàn)

    時(shí)間輪是一種高效的定時(shí)調(diào)度算法,主要用于管理延時(shí)任務(wù)或周期性任務(wù),它通過(guò)一個(gè)環(huán)形數(shù)組(時(shí)間輪)和指針來(lái)實(shí)現(xiàn),將大量定時(shí)任務(wù)分?jǐn)偟焦潭ǖ臅r(shí)間槽中,極大地降低了時(shí)間復(fù)雜度和資源開銷,本文給大家介紹了Java時(shí)間輪調(diào)度算法的代碼實(shí)現(xiàn),需要的朋友可以參考下
    2025-03-03
  • spring cloud alibaba Nacos 注冊(cè)中心搭建過(guò)程詳解

    spring cloud alibaba Nacos 注冊(cè)中心搭建過(guò)程詳解

    這篇文章主要介紹了spring cloud alibaba Nacos 注冊(cè)中心搭建過(guò)程詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2019-10-10
  • 詳解Spring配置事務(wù)的五種方式

    詳解Spring配置事務(wù)的五種方式

    這篇文章主要為大家詳細(xì)介紹了Spring配置事務(wù)的五種方式,感興趣的小伙伴們可以參考一下
    2016-06-06
  • Java使用Thread創(chuàng)建多線程并啟動(dòng)操作示例

    Java使用Thread創(chuàng)建多線程并啟動(dòng)操作示例

    這篇文章主要介紹了Java使用Thread創(chuàng)建多線程并啟動(dòng)操作,結(jié)合實(shí)例形式分析了Java基于Thread類的多線程定義與啟動(dòng)簡(jiǎn)單操作技巧,需要的朋友可以參考下
    2018-06-06
  • Lombok之@AllArgsConstructor的使用方式

    Lombok之@AllArgsConstructor的使用方式

    這篇文章主要介紹了Lombok之@AllArgsConstructor的使用方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-09-09
  • SpringMVC獲取HTTP中元素的實(shí)現(xiàn)示例

    SpringMVC獲取HTTP中元素的實(shí)現(xiàn)示例

    本文主要介紹了SpringMVC獲取HTTP中的元素,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2025-02-02

最新評(píng)論

基隆市| 南木林县| 科技| 霍州市| 济南市| 蒙自县| 汉阴县| 甘谷县| 禄丰县| 驻马店市| 芒康县| 乌鲁木齐县| 建水县| 天全县| 安远县| 芜湖县| 宿迁市| 长兴县| 灯塔市| 阆中市| 穆棱市| 定边县| 大安市| 淳化县| 新昌县| 罗江县| 隆林| 永泰县| 永寿县| SHOW| 宜兴市| 雷山县| 康平县| 安丘市| 丁青县| 新营市| 阿克| 新建县| 普宁市| 田林县| 巫溪县|