解決Mysql?Binlog文件太大導(dǎo)致無法解析問題

更新時間：2023年11月22日 08:30:29 作者：愛可生開源社區(qū)

這篇文章主要為大家介紹了解決Mysql?Binlog文件太大導(dǎo)致無法解析問題，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪

正文

由于業(yè)務(wù)寫入了一條大事務(wù)，導(dǎo)致 MySQL 的 binlog 膨脹。在解析大的 binlog 時，經(jīng)常會遇到這個問題，導(dǎo)致無法解析，沒有其他工具的情況下，很難分析問題。

故障現(xiàn)象

由于業(yè)務(wù)寫入了一條大事務(wù)，導(dǎo)致 MySQL 的 binlog 膨脹。在解析大的 binlog 時，經(jīng)常會遇到這個問題，導(dǎo)致無法解析，沒有其他工具的情況下，很難分析問題。

故障復(fù)現(xiàn)

[root@xuzong mysql]# ls -lh mysql-bin.003300
-rw-r----- 1 my3696 mysql 6.7G Oct 30 16:24 mysql-bin.003300
[root@xuzong mysql]# /usr/local/mysql-5.7.35/bin/mysqlbinlog -vv mysql-bin.003300 > 1.sql
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.334z3P' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)

猜測

可能是配置文件中 tmpdir 的問題，但是修改這個得重啟 MySQL。
能不能在不重啟 MySQL 的情況下，修改這個臨時空間。

驗證猜測

猜測一

看一下 my.cnf 設(shè)置的 tmpdir，發(fā)現(xiàn)并不是使用的這個參數(shù)，看來猜測一不對。

[root@mysql mysql]# cat my.cnf | grep tmpdir
tmpdir                          = /data1/dbatemp

猜測二

網(wǎng)上搜了一下，大部分是講臨時表滿怎么解決的，也就是猜測一的方案，并沒有很明確的方法來修改 mybinlog 解析時，所使用的的臨時句柄占用空間。

問題分析

只能看看源碼，看一下 mysqlbinlog 到底是怎么獲取 tmpdir 的。

mysqbinlog.cc
int main(int argc, char** argv)
{
........
  MY_TMPDIR tmpdir;
  tmpdir.list= 0;
  if (!dirname_for_local_load)
  {
    if (init_tmpdir(&tmpdir, 0))
      exit(1);
    dirname_for_local_load= my_strdup(PSI_NOT_INSTRUMENTED,
                                      my_tmpdir(&tmpdir), MY_WME);
  }
........
}
mf_tempdir.cc
my_bool init_tmpdir(MY_TMPDIR *tmpdir, const char *pathlist)
{
  char *end, *copy;
  char buff[FN_REFLEN];
  DBUG_ENTER("init_tmpdir");
  DBUG_PRINT("enter", ("pathlist: %s", pathlist ? pathlist : "NULL"));
  Prealloced_array<char*, 10, true> full_list(key_memory_MY_TMPDIR_full_list);
  memset(tmpdir, 0, sizeof(*tmpdir));
  if (!pathlist || !pathlist[0])
  {
    /* Get default temporary directory */
    pathlist=getenv("TMPDIR");    /* Use this if possible */ //這里能看到是獲取的機器環(huán)境變量
#if defined(_WIN32)
    if (!pathlist)
      pathlist=getenv("TEMP"); //windows是temp
    if (!pathlist)
      pathlist=getenv("TMP");  //linux是tmp
#endif
    if (!pathlist || !pathlist[0])
      pathlist= DEFAULT_TMPDIR;
  }
........
}

好家伙，竟然是獲取的機器環(huán)境變量，那么這個問題就解決了。

問題處理

臨時修改一下機器的 tmpdir 變量即可。

[root@mysql mysql]# export TMPDIR="/data1"
[root@mysql mysql]# echo ${TMPDIR:-/tmp}
[root@xuzong mysql]# /usr/local/mysql-5.7.35/bin/mysqlbinlog -vv mysql-bin.003300 &gt; 1.sql

總結(jié)

有問題還是要看看源碼。
可以考慮使用 binlog 解析工具，比如 bin2sql 解決問題。
可以看看慢日志里是否有記錄。

補充

原來這個問題在 MySQL 官方手冊中有所描述，在此做一個補充。

When running mysqlbinlog against a large binary log, be careful that the filesystem has enough space for the resulting files. To configure the directory that mysqlbinlog uses for temporary files, use the TMPDIR environment variable.

以上就是解決Mysql Binlog文件太大導(dǎo)致無法解析問題的詳細(xì)內(nèi)容，更多關(guān)于Mysql Binlog大文件解析的資料請關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: