最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

MYSQL開(kāi)發(fā)性能研究之批量插入數(shù)據(jù)的優(yōu)化方法

 更新時(shí)間:2017年07月17日 17:07:08   作者:Aicrosoft Studio  
在網(wǎng)上也看到過(guò)另外的幾種方法,比如說(shuō)預(yù)處理SQL,比如說(shuō)批量提交。那么這些方法的性能到底如何?本文就會(huì)對(duì)這些方法做一個(gè)比較

一、我們遇到了什么問(wèn)題

在標(biāo)準(zhǔn)SQL里面,我們通常會(huì)寫(xiě)下如下的SQL insert語(yǔ)句。

INSERT INTO TBL_TEST (id) VALUES(1);

很顯然,在MYSQL中,這樣的方式也是可行的。但是當(dāng)我們需要批量插入數(shù)據(jù)的時(shí)候,這樣的語(yǔ)句卻會(huì)出現(xiàn)性能問(wèn)題。例如說(shuō),如果有需要插入100000條數(shù)據(jù),那么就需要有100000條insert語(yǔ)句,每一句都需要提交到關(guān)系引擎那里去解析,優(yōu)化,然后才能夠到達(dá)存儲(chǔ)引擎做真的插入工作。

正是由于性能的瓶頸問(wèn)題,MYSQL官方文檔也就提到了使用批量化插入的方式,也就是在一句INSERT語(yǔ)句里面插入多個(gè)值。即,

INSERT INTO TBL_TEST (id) VALUES (1), (2), (3)

這樣的做法確實(shí)也可以起到加速批量插入的功效,原因也不難理解,由于提交到服務(wù)器的INSERT語(yǔ)句少了,網(wǎng)絡(luò)負(fù)載少了,最主要的是解析和優(yōu)化的時(shí)間看似增多,但是實(shí)際上作用的數(shù)據(jù)行卻實(shí)打?qū)嵉囟嗔?。所以整體性能得以提高。根據(jù)網(wǎng)上的一些說(shuō)法,這種方法可以提高幾十倍。

然而,我在網(wǎng)上也看到過(guò)另外的幾種方法,比如說(shuō)預(yù)處理SQL,比如說(shuō)批量提交。那么這些方法的性能到底如何?本文就會(huì)對(duì)這些方法做一個(gè)比較。

二、比較環(huán)境和方法
我的環(huán)境比較苦逼,基本上就是一個(gè)落后的虛擬機(jī)。只有2核,內(nèi)存為6G。操作系統(tǒng)是SUSI Linux,MYSQL版本是5.6.15。

可以想見(jiàn),這個(gè)機(jī)子的性能導(dǎo)致了我的TPS一定非常低,所以下面的所有數(shù)據(jù)都是沒(méi)有意義的,但是趨勢(shì)卻不同,它可以看出整個(gè)插入的性能走向。

由于業(yè)務(wù)特點(diǎn),我們所使用的表非常大,共有195個(gè)字段,且寫(xiě)滿(mǎn)(每個(gè)字段全部填滿(mǎn),包括varchar)大致會(huì)有略小于4KB的大小,而通常來(lái)說(shuō),一條記錄的大小也有3KB。

由于根據(jù)我們的實(shí)際經(jīng)驗(yàn),我們很肯定的是,通過(guò)在一個(gè)事務(wù)中提交大量INSERT語(yǔ)句可以大幅度提高性能。所以下面的所有測(cè)試都是建立在每插入5000條記錄提交一次的做法之上。

最后需要說(shuō)明的是,下面所有的測(cè)試都是通過(guò)使用MYSQL C API進(jìn)行的,并且使用的是INNODB存儲(chǔ)引擎。

三、比較方法

理想型測(cè)試(一)——方法比較

目的:找出理想情況下最合適的插入機(jī)制

關(guān)鍵方法:

1. 每個(gè)進(jìn)/線(xiàn)程按主鍵順序插入

2. 比較不同的插入方法

3. 比較不同進(jìn)/線(xiàn)程數(shù)量對(duì)插入的影響

image

*“普通方法”指的是一句INSERT只插入一個(gè)VALUE的情況。

*“預(yù)處理SQL”指的是使用預(yù)處理MYSQL C API的情況。

* “多表值SQL(10條)”是使用一句INSERT語(yǔ)句插入10條記錄的情況。為什么是10條?后面的驗(yàn)證告訴了我們這樣做性能最高。

結(jié)論,很顯然,從三種方法的趨勢(shì)上來(lái)看,多表值SQL(10條)的方式最為高效。

理想型測(cè)試(二)——多表值SQL條數(shù)比較

image

很顯然,在數(shù)據(jù)量提高的情況下,每條INSERT語(yǔ)句插入10條記錄的做法最為高效。

理想型測(cè)試(三)——連接數(shù)比較

image

image

結(jié)論:在2倍與CPU核數(shù)的連接和操作的時(shí)候,性能最高

一般性測(cè)試—— 根據(jù)我們的業(yè)務(wù)量進(jìn)行測(cè)試

目的:最佳插入機(jī)制適合普通交易情況?

關(guān)鍵方法:

1. 模擬生產(chǎn)數(shù)據(jù)(每條記錄約3KB)

2. 每個(gè)線(xiàn)程主鍵亂序插入

image

很顯然,如果是根據(jù)主鍵亂序插入的話(huà),性能會(huì)有直線(xiàn)下降的情況。這一點(diǎn)其實(shí)和INNODB的內(nèi)部實(shí)現(xiàn)原理所展現(xiàn)出來(lái)的現(xiàn)象一致。但是仍然可以肯定的是,多表值SQL(10條)的情況是最佳的。

壓力測(cè)試

目的:最佳插入機(jī)制適合極端交易情況?

關(guān)鍵方法:

1. 將數(shù)據(jù)行的每一個(gè)字段填滿(mǎn)(每條記錄約為4KB)

2. 每個(gè)線(xiàn)程主鍵亂序插入

image

結(jié)果和我們之前的規(guī)律類(lèi)似,性能出現(xiàn)了極端下降。并且這里驗(yàn)證了隨著記錄的增大(可能已經(jīng)超過(guò)了一個(gè)page的大小,畢竟還有slot和page head信息占據(jù)空間),會(huì)有page split等現(xiàn)象,性能會(huì)下降。

四、結(jié)論

根據(jù)上面的測(cè)試,以及我們對(duì)INNODB的了解,我們可以得到如下的結(jié)論。

•采用順序主鍵策略(例如自增主鍵,或者修改業(yè)務(wù)邏輯,讓插入的記錄盡可能順序主鍵)

•采用多值表(10條)插入方式最為合適

•將進(jìn)程/線(xiàn)程數(shù)控制在2倍CPU數(shù)目相對(duì)合適

五、附錄

我發(fā)現(xiàn)網(wǎng)上很少有完整的針對(duì)MYSQL 預(yù)處理SQL語(yǔ)句的例子。這里給出一個(gè)簡(jiǎn)單的例子。

--建表語(yǔ)句
CREATE TABLE tbl_test 
(
  pri_key varchar(30), 
  nor_char char(30), 
  max_num DECIMAL(8,0), 
  long_num DECIMAL(12, 0), 
  rec_upd_ts TIMESTAMP
);

c代碼

#include <string.h>
#include <iostream>
#include <mysql.h>
#include <sys/time.h>
#include <sstream>
#include <vector>
 
using namespace std;
 
#define STRING_LEN 30
  
char    pri_key            [STRING_LEN]= "123456"; 
char    nor_char           [STRING_LEN]= "abcabc"; 
char    rec_upd_ts          [STRING_LEN]= "NOW()"; 
 
bool SubTimeval(timeval &result, timeval &begin, timeval &end)
{
  if ( begin.tv_sec>end.tv_sec ) return false;
 
  if ( (begin.tv_sec == end.tv_sec) && (begin.tv_usec > end.tv_usec) )  
    return  false;
 
  result.tv_sec = ( end.tv_sec - begin.tv_sec );  
  result.tv_usec = ( end.tv_usec - begin.tv_usec );  
 
  if (result.tv_usec<0) {
    result.tv_sec--;
    result.tv_usec+=1000000;} 
  return true;
}
 
int main(int argc, char ** argv)
{
  INT32 ret = 0;
  char errmsg[200] = {0};
  int sqlCode = 0;
 
  timeval tBegin, tEnd, tDiff;
   
  const char* precompile_statment2 = "INSERT INTO `tbl_test`( pri_key, nor_char, max_num, long_num, rec_upd_ts) VALUES(?, ?, ?, ?, ?)";
   
  MYSQL conn;
  mysql_init(&conn);
   
  if (mysql_real_connect(&conn, "127.0.0.1", "dba", "abcdefg", "TESTDB", 3306, NULL, 0) == NULL)
  {
    fprintf(stderr, " mysql_real_connect, 2 failed\n");
    exit(0);
  }
   
  MYSQL_STMT  *stmt = mysql_stmt_init(&conn);
  if (!stmt)
  {
   fprintf(stderr, " mysql_stmt_init, 2 failed\n");
   fprintf(stderr, " %s\n", mysql_stmt_error(stmt));
   exit(0);
  }
   
  if (mysql_stmt_prepare(stmt, precompile_statment2, strlen(precompile_statment2)))
  {
   fprintf(stderr, " mysql_stmt_prepare, 2 failed\n");
   fprintf(stderr, " %s\n", mysql_stmt_error(stmt));
   exit(0);
  }
   
  int i = 0; 
  int max_num = 3;
  const int FIELD_NUM = 5;
  while (i < max_num)
  {
    //MYSQL_BIND  bind[196] = {0};
    MYSQL_BIND  bind[FIELD_NUM];
    memset(bind, 0, FIELD_NUM * sizeof(MYSQL_BIND));
   
    unsigned long str_length = strlen(pri_key);
    bind[0].buffer_type  = MYSQL_TYPE_STRING;
    bind[0].buffer    = (char *)pri_key;
    bind[0].buffer_length = STRING_LEN;
    bind[0].is_null    = 0;
    bind[0].length    = &str_length;
     
    unsigned long str_length_nor = strlen(nor_char);
    bind[1].buffer_type  = MYSQL_TYPE_STRING;
    bind[1].buffer    = (char *)nor_char;
    bind[1].buffer_length = STRING_LEN;
    bind[1].is_null    = 0;
    bind[1].length    = &str_length_nor;
     
    bind[2].buffer_type  = MYSQL_TYPE_LONG;
    bind[2].buffer    = (char*)&max_num;
    bind[2].is_null    = 0;
    bind[2].length    = 0;
     
    bind[3].buffer_type  = MYSQL_TYPE_LONG;
    bind[3].buffer    = (char*)&max_num;
    bind[3].is_null    = 0;
    bind[3].length    = 0;
     
    MYSQL_TIME ts;
    ts.year= 2002;
    ts.month= 02;
    ts.day= 03;
    ts.hour= 10;
    ts.minute= 45;
    ts.second= 20;
     
    unsigned long str_length_time = strlen(rec_upd_ts);
    bind[4].buffer_type  = MYSQL_TYPE_TIMESTAMP;
    bind[4].buffer    = (char *)&ts;
    bind[4].is_null    = 0;
    bind[4].length    = 0;
     
    if (mysql_stmt_bind_param(stmt, bind))
    {
      fprintf(stderr, " mysql_stmt_bind_param, 2 failed\n");
      fprintf(stderr, " %s\n", mysql_stmt_error(stmt));
      exit(0);
    }
     
    cout << "before execute\n";
    if (mysql_stmt_execute(stmt))
    {
     fprintf(stderr, " mysql_stmt_execute, 2 failed\n");
     fprintf(stderr, " %s\n", mysql_stmt_error(stmt));
     exit(0);
    }
    cout << "after execute\n";
     
    i++;
  }
   
  mysql_commit(&conn);
   
  mysql_stmt_close(stmt);
 
  return 0;  
}

以上就是mysql批量插入數(shù)據(jù)的優(yōu)化方法,建議大家也可以多看下腳本之家以前的文章。

相關(guān)文章

  • Mysql更新varchar存儲(chǔ)Json數(shù)據(jù)的操作方法

    Mysql更新varchar存儲(chǔ)Json數(shù)據(jù)的操作方法

    這篇文章主要介紹了Mysql更新varchar存儲(chǔ)Json數(shù)據(jù)的操作方法,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧
    2023-12-12
  • MySQL InnoDB 事務(wù)鎖源碼分析

    MySQL InnoDB 事務(wù)鎖源碼分析

    InnoDB 事務(wù)鎖,事務(wù)鎖實(shí)現(xiàn)起來(lái)的代碼卻是又臭又硬的好大一坨,各種細(xì)節(jié),今天小編在這里整理一個(gè)源碼閱讀筆記,把那一坨加鎖相關(guān)的代碼提煉出來(lái),感興趣的小伙伴別忘記收藏奧
    2021-09-09
  • 你可能有所不知的MySQL正則表達(dá)式總結(jié)

    你可能有所不知的MySQL正則表達(dá)式總結(jié)

    使用正則表達(dá)式可以檢索或替換符合某個(gè)模式的文本內(nèi)容,根據(jù)指定的匹配模式匹配文本中符合要求的特殊字符串,下面這篇文章主要給大家介紹了關(guān)于MySQL正則表達(dá)式的相關(guān)資料,需要的朋友可以參考下
    2023-05-05
  • mysql如何分別按年/月/日/周分組統(tǒng)計(jì)數(shù)據(jù)詳解

    mysql如何分別按年/月/日/周分組統(tǒng)計(jì)數(shù)據(jù)詳解

    我們?cè)谟肕ysql抽取數(shù)據(jù)時(shí)候,經(jīng)常需要按照天、周、月等不同的粒度對(duì)數(shù)據(jù)進(jìn)行分組統(tǒng)計(jì),下面這篇文章主要給大家介紹了關(guān)于mysql如何分別按年/月/日/周分組統(tǒng)計(jì)數(shù)據(jù)的相關(guān)資料,需要的朋友可以參考下
    2022-12-12
  • MySQL性能優(yōu)化

    MySQL性能優(yōu)化

    MySQL是目前使用最多的開(kāi)源數(shù)據(jù)庫(kù),但是MySQL數(shù)據(jù)庫(kù)的默認(rèn)設(shè)置性能非常的差,僅僅是一個(gè)玩具數(shù)據(jù)庫(kù)。因此在產(chǎn)品中使用MySQL數(shù)據(jù)庫(kù)必須進(jìn)行必要的優(yōu)化
    2013-02-02
  • MySQL專(zhuān)用服務(wù)器自動(dòng)配置參數(shù)的實(shí)現(xiàn)

    MySQL專(zhuān)用服務(wù)器自動(dòng)配置參數(shù)的實(shí)現(xiàn)

    本文主要介紹了MySQL專(zhuān)用服務(wù)器自動(dòng)配置參數(shù)的實(shí)現(xiàn),MySQL8.0推出了專(zhuān)用數(shù)據(jù)庫(kù)服務(wù)器自動(dòng)配置參數(shù),通過(guò)打開(kāi)innodb_dedicated_server,下面就來(lái)詳細(xì)的介紹一下,感興趣的可以了解一下
    2024-09-09
  • MySQL筆記之?dāng)?shù)據(jù)備份與還原的使用詳解

    MySQL筆記之?dāng)?shù)據(jù)備份與還原的使用詳解

    數(shù)據(jù)很重要,這點(diǎn)用腳趾頭想都知道,為了保證數(shù)據(jù)的安全,因此需要定期對(duì)數(shù)據(jù)備份
    2013-05-05
  • mysql 5.7.14 下載安裝、配置與使用詳細(xì)教程

    mysql 5.7.14 下載安裝、配置與使用詳細(xì)教程

    這篇文章主要介紹了mysql 5.7.14 下載安裝、配置與使用詳細(xì)教程的相關(guān)資料,非常不錯(cuò),具有參考借鑒價(jià)值,需要的朋友可以參考下
    2016-09-09
  • mysql中 ${param}與#{param}使用區(qū)別

    mysql中 ${param}與#{param}使用區(qū)別

    這篇文章主要介紹了mysql中 ${param}與#{param}使用區(qū)別,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-08-08
  • MySQL如何通過(guò)Navicat實(shí)現(xiàn)遠(yuǎn)程連接

    MySQL如何通過(guò)Navicat實(shí)現(xiàn)遠(yuǎn)程連接

    這篇文章主要介紹了MySQL如何通過(guò)Navicat實(shí)現(xiàn)遠(yuǎn)程連接,幫助大家更好的理解和使用MySQL數(shù)據(jù)庫(kù),感興趣的朋友可以了解下
    2020-09-09

最新評(píng)論

玛纳斯县| 阳春市| 晋州市| 财经| 那曲县| 德令哈市| 苍溪县| 隆尧县| 出国| 神木县| 夏河县| 曲阳县| 乌兰浩特市| 宣威市| 新安县| 虹口区| 克拉玛依市| 天水市| 修武县| 禹州市| 海原县| 景宁| 望谟县| 邯郸市| 界首市| 库伦旗| 陆河县| 巴塘县| 浏阳市| 东丰县| 磐安县| 定兴县| 辉南县| 海林市| 饶河县| 阿城市| 合江县| 芷江| 云梦县| 柏乡县| 当雄县|