關于log4j2的異步日志輸出方式

更新時間：2021年12月22日 11:55:51 作者：在路上奔跑~

這篇文章主要介紹了關于log4j2的異步日志輸出方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教

log4j2的異步日志輸出方式

使用log4j2的同步日志進行日志輸出，日志輸出語句與程序的業(yè)務邏輯語句將在同一個線程運行。

而使用異步日志進行輸出時，日志輸出語句與業(yè)務邏輯語句并不是在同一個線程中運行，而是有專門的線程用于進行日志輸出操作，處理業(yè)務邏輯的主線程不用等待即可執(zhí)行后續(xù)業(yè)務邏輯。

Log4j2中的異步日志實現(xiàn)方式有AsyncAppender和AsyncLogger兩種。

其中：

AsyncAppender采用了ArrayBlockingQueue來保存需要異步輸出的日志事件；
AsyncLogger則使用了Disruptor框架來實現(xiàn)高吞吐。

第一種實現(xiàn)異步方式AsyncAppender

AsyncAppender直接在log4j2的xml的配置文件中配置，注意下面代碼的注釋位置

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="warn">
  <Appenders>
    <!--正常的Appender配置，此處配置的RollingFile會在下面AsyncAppender被通過name引用-->
    <RollingFile name="RollingFileError" fileName="${Log_Home}/error.${date:yyyy-MM-dd}.log" immediateFlush="true"
filePattern="${Log_Home}/$${date:yyyy-MM}/error-%d{MM-dd-yyyy}-%i.log.gz">
     <PatternLayout pattern="%d{yyyy-MM-dd 'at' HH:mm:ss z} %-5level %logger{36} : %msg%xEx%n"/>
     <ThresholdFilter level="error" onMatch="ACCEPT" onMismatch="DENY"/>
     <Policies>
                <TimeBasedTriggeringPolicy modulate="true" interval="1"/>
                <SizeBasedTriggeringPolicy size="10MB"/>
     </Policies>
   </RollingFile>
    <!--一個Appender配置完畢-->
    <!--異步AsyncAppender進行配置直接引用上面的RollingFile的name-->
    <Async name="Async">
      <AppenderRef ref="MyFile"/>
    </Async>
    <!--異步AsyncAppender配置完畢，需要幾個配置幾個-->
  </Appenders>
  <Loggers>
    <Root level="error">
      <!--此處如果引用異步AsyncAppender的name就是異步輸出日志-->
      <!--此處如果引用Appenders標簽中RollingFile的name就是同步輸出日志-->
      <AppenderRef ref="Async"/>
    </Root>
  </Loggers>
</Configuration>

重點內(nèi)容全在上面代碼的注釋中，AsyncAppender的配置就在xml文件中實現(xiàn)，無需單獨引用包來支持.配置AsyncAppender后，日志事件寫入文件的操作將在單獨的線程中執(zhí)行。

AsyncAppender的常用參數(shù)

參數(shù)名	類型	說明
name	String	Async Appender的名字
AppenderRef	String	異步調(diào)用的Appender的名字，可以配置多個
blocking	boolean	默認為true。如果為true，appender將一直等待直到queue中有空閑；如果為false，當隊列滿的時候，日志事件將被丟棄。(如果配置了error appender，要丟棄的日志事件將由error appender處理)
bufferSize	integer	隊列中可存儲的日志事件的最大數(shù)量，默認為128

第二種實現(xiàn)異步方式AsyncLogger

Log4j2中的AsyncLogger的內(nèi)部使用了Disruptor框架。

Disruptor簡介

Disruptor是英國外匯交易公司LMAX開發(fā)的一個高性能隊列，基于Disruptor開發(fā)的系統(tǒng)單線程能支撐每秒600萬訂單。

目前，包括Apache Strom、Log4j2在內(nèi)的很多知名項目都應用了Disruptor來獲取高性能。

Disruptor框架內(nèi)部核心數(shù)據(jù)結構為RingBuffer，其為無鎖環(huán)形隊列。

Disruptor為什么這么快？

lock-free-使用了CAS來實現(xiàn)線程安全
使用緩存行填充解決偽共享問題

首先在pom單中應用相關的包

<dependency>
  <groupId>com.lmax</groupId>
  <artifactId>disruptor</artifactId>
  <version>3.4.2</version>
</dependency>

第二步在log4j2的xml文件中配置AsyncLogger

log4j2.xml配置如下：

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="debug" name="MyApp" packages="">
    <Appenders>
        <Console name="Console" target="SYSTEM_OUT">
            <PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n" />
        </Console>
        <RollingFile name="RollingFile" fileName="logs/app.log"
                     filePattern="logs/app-%d{yyyy-MM-dd HH}.log">
            <PatternLayout>
                <Pattern>%d %p %c{1.} [%t] %m%n</Pattern>
            </PatternLayout>
            <Policies>
                <SizeBasedTriggeringPolicy size="500MB"/>
            </Policies>
        </RollingFile>
        <RollingFile name="RollingFile2" fileName="logs/app2.log"
                     filePattern="logs/app2-%d{yyyy-MM-dd HH}.log">
            <PatternLayout>
                <Pattern>%d %p %c{1.} [%t] %m%n</Pattern>
            </PatternLayout>
            <Policies>
                <SizeBasedTriggeringPolicy size="500MB"/>
            </Policies>
        </RollingFile>
    </Appenders>
    <Loggers>
    <!--上面的配置都和原配置一樣，就是在下方這直接定義AsyncLogger，他的name在java類中被引用即可-->
        <AsyncLogger name="com.meituan.Main" level="trace" additivity="false">
            <appender-ref ref="RollingFile"/>
        </AsyncLogger>
        <AsyncLogger name="RollingFile2" level="trace" additivity="false">
            <appender-ref ref="RollingFile2"/>
        </AsyncLogger>
        <Root level="debug">
            <AppenderRef ref="Console"/>
            <AppenderRef ref="RollingFile"/>
        </Root>
    </Loggers>
</Configuration>

java代碼如下：

public class Main {
    public static void main(String args[]) {
        //引用com.meituan.Main日志輸出器
        Logger logger = LogManager.getLogger(Main.class);
        //引用的名為RollingFile2的異步AsyncLogger
        Logger logger2 = LogManager.getLogger("RollingFile2");
        Person person = new Person("Li", "lei");
        logger.info("hello, {}", person);
        logger2.info("good bye, {}", person);
}

上述log4j2.xml中配置了兩個AsyncLogger，名字分別為com.meituan.Main和RollingFile2。

并且，在main方法中分別使用兩個logger來輸出兩條日志。

在加載log4j2.xml的啟動階段，如果檢測到配置了AsyncRoot或AsyncLogger，將啟動一個disruptor實例。

log4j2異步注意事項

log4j2異步類型

1) 使用<Async>標簽

示例：

<Async name="asyncKafkaLog">
    <AppenderRef ref="Failover" />
</Async>

注意事項：此類異步隊列是BockingQueue，隊列默認大小是128

2) 使用<AsyncLogger>標簽

示例：

<AsyncLogger name="kafkaLogger" level="trace" includeLocation="false">
    <AppenderRef ref="Failover"/>
</AsyncLogger>

注意事項：此類異步隊列是Disruptor隊列默認大小是4096

3) 使用 JVM參數(shù)

示例：

#啟動參數(shù)方式
-DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector
#代碼方式
System.setProperty("Log4jContextSelector", "org.apache.logging.log4j.core.async.AsyncLoggerContextSelector");

注意事項：此類異步是全量異步，log4j配置文件里所有l(wèi)ogger都自動異步，使用異步隊列為Disruptor，隊列默認大小4096

小提示

① Disruptor隊列性能遠勝于BlockingQueue，這也是log4j2性能提升的重要原因之一

② 如果啟用了全量異步，又使用了<AsyncLogger>會如何？

log4j2會新建兩個Disruptor隊列，<AsyncLogger>之流使用一個，其他的使用另外一個，所以建議將可能發(fā)生阻塞的logger歸類使用一個Disruptor，畢竟是隊列，一個阻塞了其他的得乖乖等著

③ 如果默認隊列長度不足咋辦？

#第一步：加大兩個Disruptor隊列的長度
-DAsyncLogger.RingBufferSize=262144
-DAsyncLoggerConfig.RingBufferSize=262144  
#第二步：設置隊列滿了時的處理策略：丟棄，否則默認blocking，異步就與同步無異了
-Dlog4j2.AsyncQueueFullPolicy=Discard

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

使用spring動態(tài)獲取接口的不同實現(xiàn)類
這篇文章主要介紹了使用spring動態(tài)獲取接口的不同實現(xiàn)類，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2022-02-02
java使用PageInfo的list通用分頁處理demo
這篇文章主要為大家介紹了java使用PageInfo的list通用分頁處理demo,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步
2023-12-12
Java中如何取出String字符串括號中的內(nèi)容
這篇文章主要介紹了Java中如何取出String字符串括號中的內(nèi)容問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2023-05-05
Spring Cloud Gateway不同頻率限流的解決方案（每分鐘，每小時，每天）
SpringCloud Gateway 是 Spring Cloud 的一個全新項目，它旨在為微服務架構提供一種簡單有效的統(tǒng)一的 API 路由管理方式。這篇文章主要介紹了Spring Cloud Gateway不同頻率限流（每分鐘，每小時，每天）,需要的朋友可以參考下
2020-10-10
Spring的編程式事務TransactionTemplate的用法詳解
TransactionTemplate提供了一種在代碼中進行編程式事務管理的方式，使開發(fā)人員能夠在方法級別定義事務的開始和結束點，本文介紹了Spring框架中TransactionTemplate的用法，感興趣的朋友跟隨小編一起看看吧
2023-07-07
淺談mybatis mapper.xml文件中$和＃的區(qū)別
這篇文章主要介紹了淺談mybatis mapper.xml文件中$和＃的區(qū)別，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-11-11
springboot全局日期格式化的兩種方式
這篇文章主要介紹了springboot全局日期格式化的兩種方式，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2020-09-09
Java 垃圾回收機制詳解(動力節(jié)點Java學院整理)
在系統(tǒng)運行過程中，會產(chǎn)生一些無用的對象，這些對象占據(jù)著一定的內(nèi)存，如果不對這些對象清理回收無用對象的內(nèi)存，可能會導致內(nèi)存的耗盡，所以垃圾回收機制回收的是內(nèi)存。下面通過本文給大家詳細介紹java垃圾回收機制，一起學習吧
2017-02-02
Java鏈表中添加元素的原理與實現(xiàn)方法詳解
這篇文章主要介紹了Java鏈表中添加元素的原理與實現(xiàn)方法,結合實例形式詳細分析了Java實現(xiàn)鏈表中添加元素的相關原理、操作技巧與注意事項,需要的朋友可以參考下
2020-03-03
Java異常詳解_動力節(jié)點Java學院整理
異常是Java語言中的一部分，它代表程序中由各種原因引起的“不正常”因素。下面通過本文給大家介紹java異常的相關知識，感興趣的朋友一起看看吧
2017-06-06