利用MySqlBulkLoader實現(xiàn)批量插入數(shù)據(jù)的示例詳解
更新時間：2022年06月28日 09:40:41 作者：姚小丹
MySQLBulkLoader是MySQL?Connector/Net類中的一個類，用于包裝MySQL語句。本文將利用MySqlBulkLoader實現(xiàn)批量插入數(shù)據(jù)功能，感興趣的可以了解一下
介紹
最近在項目中遇到插入數(shù)據(jù)瓶頸，幾萬、幾十萬、幾百萬的數(shù)據(jù)保存到MYSQL數(shù)據(jù)庫，使用EF插入數(shù)據(jù)速度非常慢，數(shù)據(jù)量非常大時EF插入需要幾十分鐘，甚至幾個小時，這樣子的速度肯定不是我們所期望的。
后面經(jīng)過了解與研究發(fā)現(xiàn)MySqlBulkLoader，可以批量將數(shù)據(jù)插入到數(shù)據(jù)庫并且速度上面遠(yuǎn)遠(yuǎn)優(yōu)于EF。
MySqlBulkLoader主要的實現(xiàn)方式：將需要插入的數(shù)據(jù)轉(zhuǎn)成DataTable，DataTable轉(zhuǎn)成一個CSV文件，將CSV文件使用批量導(dǎo)入的形式導(dǎo)入到數(shù)據(jù)庫里面去。
注意：
1）.數(shù)據(jù)庫連接地址需要添加配置AllowLoadLocalInfile=true,允許本地文件導(dǎo)入；
Data Source = 數(shù)據(jù)庫地址; Port = 端口; Initial Catalog = 數(shù)據(jù)庫名; User Id = 用戶名; Password = 密碼;AllowLoadLocalInfile=true;
2）.插入的時候會返回插入行數(shù)，但是檢查所有的數(shù)據(jù)都正確，也沒有報異常，卻返回了插入數(shù)量為0，可以檢查表是否有唯一索引，插入的數(shù)據(jù)是否違反了唯一索引。
（以下分塊展示了代碼，如果需要看完整的代碼直接看 5.完整的代碼）
1.將List轉(zhuǎn)化為DataTable
/// <summary>
/// 將List轉(zhuǎn)化為DataTable
/// </summary>
/// <returns></returns>
public DataTable ListToDataTable<T>(List<T> data)
{
#region 創(chuàng)建一個DataTable，以實體名稱作為DataTable名稱
var tableName = typeof(T).Name;
tableName = tableName.ToSnakeCase(); /*實體名稱與表名進(jìn)行轉(zhuǎn)化，主要根據(jù)各項目的規(guī)定進(jìn)行轉(zhuǎn)化,不一定就是我這些寫的這種轉(zhuǎn)換方式*/
DataTable dt = new DataTable
{
TableName = tableName
};
#endregion
#region 拿取列名，以實體的屬性名作為列名
var properties = typeof(T).GetProperties();
foreach (var item in properties)
{
var curFileName = item.Name;
curFileName = curFileName.ToSnakeCase();/*列名與字段名進(jìn)行轉(zhuǎn)化，主要根據(jù)各項目的規(guī)定進(jìn)行轉(zhuǎn)化,不一定就是我這些寫的這種轉(zhuǎn)換方式*/
dt.Columns.Add(curFileName);
}
#endregion
#region 列賦值
foreach (var item in data)
{
DataRow dr = dt.NewRow();
var columns = dt.Columns;
var curPropertyList = item.GetType().GetProperties();
foreach (var p in curPropertyList)
{
var name = p.Name;
name = name.ToSnakeCase();/*列名與字段名進(jìn)行轉(zhuǎn)化，主要根據(jù)各項目的規(guī)定進(jìn)行轉(zhuǎn)化,不一定就是我這些寫的這種轉(zhuǎn)換方式*/
var curValue = p.GetValue(item);
int i = columns.IndexOf(name);
dr[i] = curValue;
}
dt.Rows.Add(dr);
}
#endregion
return dt;
}2.將DataTable轉(zhuǎn)換為標(biāo)準(zhǔn)的CSV文件
/// <summary>
/// csv擴展
/// </summary>
public static class CSVEx
{
/// <summary>
///將DataTable轉(zhuǎn)換為標(biāo)準(zhǔn)的CSV文件
/// </summary>
/// <param name="table">數(shù)據(jù)表</param>
/// <param name="tmpPath">文件地址</param>
/// <returns>返回標(biāo)準(zhǔn)的CSV</returns>
public static void ToCsv(this DataTable table, string tmpPath)
{
//以半角逗號（即,）作分隔符，列為空也要表達(dá)其存在。
//列內(nèi)容如存在半角逗號（即,）則用半角引號（即""）將該字段值包含起來。
//列內(nèi)容如存在半角引號（即"）則應(yīng)替換成半角雙引號（""）轉(zhuǎn)義，并用半角引號（即""）將該字段值包含起來。
StringBuilder sb = new StringBuilder();
DataColumn colum;
foreach (DataRow row in table.Rows)
{
for (int i = 0; i < table.Columns.Count; i++)
{
Type _datatype = typeof(DateTime);
colum = table.Columns[i];
if (i != 0) sb.Append("\t");
//if (colum.DataType == typeof(string) && row[colum].ToString().Contains(","))
//{
// sb.Append("\"" + row[colum].ToString().Replace("\"", "\"\"") + "\"");
//}
if (colum.DataType == _datatype)
{
sb.Append(((DateTime)row[colum]).ToString("yyyy/MM/dd HH:mm:ss"));
}
else sb.Append(row[colum].ToString());
}
sb.Append("\r\n");
}
StreamWriter sw = new StreamWriter(tmpPath, false, UTF8Encoding.UTF8);
sw.Write(sb.ToString());
sw.Close();
}
}3.CSV文件導(dǎo)入數(shù)據(jù)到數(shù)據(jù)庫
/// <summary>
/// 批量導(dǎo)入mysql幫助類
/// </summary>
public static class MySqlHelper
{
/// <summary>
/// MySqlBulkLoader批量導(dǎo)入
/// </summary>
/// <param name="_mySqlConnection">數(shù)據(jù)庫連接地址</param>
/// <param name="table"></param>
/// <param name="csvName"></param>
/// <returns></returns>
public static int BulkLoad(MySqlConnection _mySqlConnection, DataTable table, string csvName)
{
var columns = table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList();
MySqlBulkLoader bulk = new MySqlBulkLoader(_mySqlConnection)
{
FieldTerminator = "\t",
FieldQuotationCharacter = '"',
EscapeCharacter = '"',
LineTerminator = "\r\n",
FileName = csvName,
NumberOfLinesToSkip = 0,
TableName = table.TableName,
};
bulk.Columns.AddRange(columns);
return bulk.Load();
}
}4.使用MySqlBulkLoader批量插入數(shù)據(jù)
/// <summary>
/// 使用MySqlBulkLoader批量插入數(shù)據(jù)
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="data"></param>
/// <returns></returns>
/// <exception cref="Exception"></exception>
public int BulkLoaderData<T>(List<T> data)
{
if (data.Count <= 0) return 0;
var connectString = "數(shù)據(jù)庫連接地址";
using (MySqlConnection connection = new MySqlConnection(connectString))
{
MySqlTransaction sqlTransaction = null;
try
{
if (connection.State == ConnectionState.Closed)
{
connection.Open();
}
sqlTransaction = connection.BeginTransaction();
var dt = ListToDataTable<T>(data); //將List轉(zhuǎn)成dataTable
string tmpPath = Path.GetTempFileName();
dt.ToCsv(tmpPath); //將DataTable轉(zhuǎn)成CSV文件
var insertCount = MySqlHelper.BulkLoad(connection, dt, tmpPath); //使用MySqlBulkLoader插入數(shù)據(jù)
sqlTransaction.Commit();
try
{
if (File.Exists(tmpPath)) File.Delete(tmpPath);
}
catch (Exception)
{
//刪除文件失敗
}
return insertCount; //返回執(zhí)行成功的條數(shù)
}
catch (Exception e)
{
if (sqlTransaction != null)
{
sqlTransaction.Rollback();
}
//執(zhí)行異常
throw e;
}
}
}5.完整的代碼
namespace WebApplication1.BrantchInsert
{
/// <summary>
/// 批量插入
/// </summary>
public class BulkLoader
{
/// <summary>
/// 測試批量插入入口
/// </summary>
/// <returns></returns>
public int BrantchDataTest()
{
#region 模擬數(shù)據(jù)
var data = new List<CrmCouponTestDto>() {
new CrmCouponTestDto {
Id=1,
CouponCode="test001",
CouponId = 1,
MemberId=100,
IssueTime=Convert.ToDateTime("2022-06-27 14:00:00"),
UsageTime=Convert.ToDateTime("3000-12-31 00:00:00"),
UsageShopId=0,
UsageBillNo="",
EffectiveStart=Convert.ToDateTime("2022-06-27 14:00:00"),
EffectiveEnd=Convert.ToDateTime("2023-06-27 14:00:00"),
Status=0
},
new CrmCouponTestDto {
Id=2,
CouponCode="test002",
CouponId = 1,
MemberId=101,
IssueTime=Convert.ToDateTime("2022-06-27 14:00:00"),
UsageTime=Convert.ToDateTime("2022-06-27 14:30:00"),
UsageShopId=2,
UsageBillNo="CS202206271430001",
EffectiveStart=Convert.ToDateTime("2022-06-27 14:00:00"),
EffectiveEnd=Convert.ToDateTime("2023-06-27 14:00:00"),
Status=1
},
new CrmCouponTestDto {
Id=3,
CouponCode="test003",
CouponId = 1,
MemberId=102,
IssueTime=Convert.ToDateTime("2022-06-27 14:00:00"),
UsageTime=Convert.ToDateTime("3000-12-31 00:00:00"),
UsageShopId=0,
UsageBillNo="",
EffectiveStart=Convert.ToDateTime("2022-06-27 14:00:00"),
EffectiveEnd=Convert.ToDateTime("2023-06-27 14:00:00"),
Status=0
},
new CrmCouponTestDto {
Id=4,
CouponCode="test004",
CouponId = 1,
MemberId=103,
IssueTime=Convert.ToDateTime("2022-06-27 14:00:00"),
UsageTime=Convert.ToDateTime("3000-12-31 00:00:00"),
UsageShopId=0,
UsageBillNo="",
EffectiveStart=Convert.ToDateTime("2022-06-27 14:00:00"),
EffectiveEnd=Convert.ToDateTime("2023-06-27 14:00:00"),
Status=0
}
};
#endregion
var result = BulkLoaderData<CrmCouponTestDto>(data);
return result;
}
/// <summary>
/// 使用MySqlBulkLoader批量插入數(shù)據(jù)
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="data"></param>
/// <returns></returns>
/// <exception cref="Exception"></exception>
public int BulkLoaderData<T>(List<T> data)
{
if (data.Count <= 0) return 0;
var connectString = "數(shù)據(jù)庫連接地址";
using (MySqlConnection connection = new MySqlConnection(connectString))
{
MySqlTransaction sqlTransaction = null;
try
{
if (connection.State == ConnectionState.Closed)
{
connection.Open();
}
sqlTransaction = connection.BeginTransaction();
var dt = ListToDataTable<T>(data); //將List轉(zhuǎn)成dataTable
string tmpPath = Path.GetTempFileName();
dt.ToCsv(tmpPath); //將DataTable轉(zhuǎn)成CSV文件
var insertCount = MySqlHelper.BulkLoad(connection, dt, tmpPath); //使用MySqlBulkLoader插入數(shù)據(jù)
sqlTransaction.Commit();
try
{
if (File.Exists(tmpPath)) File.Delete(tmpPath);
}
catch (Exception)
{
//刪除文件失敗
}
return insertCount; //返回執(zhí)行成功的條數(shù)
}
catch (Exception e)
{
if (sqlTransaction != null)
{
sqlTransaction.Rollback();
}
//執(zhí)行異常
throw e;
}
}
}
/// <summary>
/// 將List轉(zhuǎn)化為DataTable核心方法
/// </summary>
/// <returns></returns>
public DataTable ListToDataTable<T>(List<T> data)
{
#region 創(chuàng)建一個DataTable，以實體名稱作為DataTable名稱
var tableName = typeof(T).Name;
tableName = tableName.ToSnakeCase(); /*實體名稱與表名進(jìn)行轉(zhuǎn)化，主要根據(jù)各項目的規(guī)定進(jìn)行轉(zhuǎn)化,不一定就是我這些寫的這種轉(zhuǎn)換方式*/
DataTable dt = new DataTable
{
TableName = tableName
};
#endregion
#region 拿取列名，以實體的屬性名作為列名
var properties = typeof(T).GetProperties();
foreach (var item in properties)
{
var curFileName = item.Name;
curFileName = curFileName.ToSnakeCase();/*列名與字段名進(jìn)行轉(zhuǎn)化，主要根據(jù)各項目的規(guī)定進(jìn)行轉(zhuǎn)化,不一定就是我這些寫的這種轉(zhuǎn)換方式*/
dt.Columns.Add(curFileName);
}
#endregion
#region 列賦值
foreach (var item in data)
{
DataRow dr = dt.NewRow();
var columns = dt.Columns;
var curPropertyList = item.GetType().GetProperties();
foreach (var p in curPropertyList)
{
var name = p.Name;
name = name.ToSnakeCase();/*列名與字段名進(jìn)行轉(zhuǎn)化，主要根據(jù)各項目的規(guī)定進(jìn)行轉(zhuǎn)化,不一定就是我這些寫的這種轉(zhuǎn)換方式*/
var curValue = p.GetValue(item);
int i = columns.IndexOf(name);
dr[i] = curValue;
}
dt.Rows.Add(dr);
}
#endregion
return dt;
}
}
/// <summary>
/// 批量導(dǎo)入mysql幫助類
/// </summary>
public static class MySqlHelper
{
/// <summary>
/// MySqlBulkLoader批量導(dǎo)入
/// </summary>
/// <param name="_mySqlConnection">數(shù)據(jù)庫連接地址</param>
/// <param name="table"></param>
/// <param name="csvName"></param>
/// <returns></returns>
public static int BulkLoad(MySqlConnection _mySqlConnection, DataTable table, string csvName)
{
var columns = table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList();
MySqlBulkLoader bulk = new MySqlBulkLoader(_mySqlConnection)
{
FieldTerminator = "\t",
FieldQuotationCharacter = '"',
EscapeCharacter = '"',
LineTerminator = "\r\n",
FileName = csvName,
NumberOfLinesToSkip = 0,
TableName = table.TableName,
};
bulk.Columns.AddRange(columns);
return bulk.Load();
}
}
/// <summary>
/// csv擴展
/// </summary>
public static class CSVEx
{
/// <summary>
///將DataTable轉(zhuǎn)換為標(biāo)準(zhǔn)的CSV文件
/// </summary>
/// <param name="table">數(shù)據(jù)表</param>
/// <param name="tmpPath">文件地址</param>
/// <returns>返回標(biāo)準(zhǔn)的CSV</returns>
public static void ToCsv(this DataTable table, string tmpPath)
{
//以半角逗號（即,）作分隔符，列為空也要表達(dá)其存在。
//列內(nèi)容如存在半角逗號（即,）則用半角引號（即""）將該字段值包含起來。
//列內(nèi)容如存在半角引號（即"）則應(yīng)替換成半角雙引號（""）轉(zhuǎn)義，并用半角引號（即""）將該字段值包含起來。
StringBuilder sb = new StringBuilder();
DataColumn colum;
foreach (DataRow row in table.Rows)
{
for (int i = 0; i < table.Columns.Count; i++)
{
Type _datatype = typeof(DateTime);
colum = table.Columns[i];
if (i != 0) sb.Append("\t");
//if (colum.DataType == typeof(string) && row[colum].ToString().Contains(","))
//{
// sb.Append("\"" + row[colum].ToString().Replace("\"", "\"\"") + "\"");
//}
if (colum.DataType == _datatype)
{
sb.Append(((DateTime)row[colum]).ToString("yyyy/MM/dd HH:mm:ss"));
}
else sb.Append(row[colum].ToString());
}
sb.Append("\r\n");
}
StreamWriter sw = new StreamWriter(tmpPath, false, UTF8Encoding.UTF8);
sw.Write(sb.ToString());
sw.Close();
}
}
/// <summary>
/// 字符串轉(zhuǎn)化
/// </summary>
public static class StringExtensions
{
/// <summary>
/// 轉(zhuǎn)換為 main_keys_id 這種形式的字符串方式
/// </summary>
public static string ToSnakeCase(this string input)
{
if (string.IsNullOrEmpty(input)) { return input; }
var startUnderscores = Regex.Match(input, @"^_+");
return startUnderscores + Regex.Replace(input, @"([a-z0-9])([A-Z])", "$1_$2").ToLower();
}
}
/// <summary>
/// 實體
/// </summary>
public class CrmCouponTestDto
{
/// <summary>
/// ID
/// </summary>
public long Id { get; set; }
/// <summary>
/// 卡券號
/// </summary>
public string CouponCode { get; set; }
/// <summary>
/// 卡券ID
/// </summary>
public int CouponId { get; set; }
/// <summary>
/// 會員ID
/// </summary>
public int MemberId { get; set; }
/// <summary>
/// 發(fā)放時間
/// </summary>
public DateTime IssueTime { get; set; }
/// <summary>
/// 使用時間
/// </summary>
public DateTime UsageTime { get; set; }
/// <summary>
/// 使用店鋪ID
/// </summary>
public int UsageShopId { get; set; }
/// <summary>
/// 使用單號
/// </summary>
public string UsageBillNo { get; set; }
/// <summary>
/// 有效開始時間
/// </summary>
public DateTime EffectiveStart { get; set; }
/// <summary>
/// 有效結(jié)束時間
/// </summary>
public DateTime EffectiveEnd { get; set; }
/// <summary>
/// 狀態(tài)
/// CouponStatus 卡券狀態(tài):
/// -1：未領(lǐng)用
/// 0：未使用
/// 1：已使用
/// 2：已過期
///3：已作廢
///4：轉(zhuǎn)贈中
/// </summary>
public Int16 Status { get; set; }
}
}以上就是利用MySqlBulkLoader實現(xiàn)批量插入數(shù)據(jù)的示例詳解的詳細(xì)內(nèi)容，更多關(guān)于MySqlBulkLoader批量插入數(shù)據(jù)的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
C#/VB.NET?實現(xiàn)彩色PDF轉(zhuǎn)為灰度PDF
本文以C#代碼為例介紹如何實現(xiàn)將彩色PDF文件轉(zhuǎn)為灰度（黑白）的PDF文件，即將PDF文檔里面的彩色圖片或者文字等通過調(diào)用方法轉(zhuǎn)為文檔頁面為灰色調(diào)、無彩色效果的文檔?？靵砀S小編一起學(xué)習(xí)吧2021-11-11
這篇文章主要介紹了C#利用控件拖拽技術(shù)制作拼圖游戲的方法以及核心代碼,需要的朋友可以參考下2015-06-06
這篇文章主要介紹了C#實現(xiàn)基于Base64的加密解密類,實例分析了C#基于Base64的加密解密實現(xiàn)技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-03-03
這篇文章主要為大家詳細(xì)介紹了如何利用C#實現(xiàn)給Word中的字符添加著重號，文中的示例代碼講解詳細(xì)，對我們學(xué)習(xí)有一定幫助，需要的可以參考一下2022-05-05
這篇文章主要介紹了C#設(shè)置頁面單位和縮放的方法,涉及C#設(shè)置頁面屬性的相關(guān)技巧,需要的朋友可以參考下2015-06-06
這篇文章主要介紹了dotNet中的反射用法,較為詳細(xì)的分析了.Net中關(guān)于反射的概念,使用方法與相關(guān)注意事項,需要的朋友可以參考下2016-02-02
這篇文章主要為大家詳細(xì)介紹了C# winform自定義翻頁控件的方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-09-09
這篇文章主要介紹了C#同步網(wǎng)絡(luò)時間的方法,以實例形式較為詳細(xì)的分析了C#獲取網(wǎng)絡(luò)時間與同步本機系統(tǒng)時間的相關(guān)技巧,非常具有實用價值,需要的朋友可以參考下2015-05-05
本篇文章是對c#中引用類型與值類型的區(qū)別進(jìn)行了詳細(xì)的分析介紹，需要的朋友參考下2013-05-05
這篇文章主要為大家介紹了C#設(shè)計模式之建造者模式生成器模式示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-08-08