一、SpringBoot內嵌Tomcat默認配置與優(yōu)化

在做一個關于秒殺系統(tǒng)的模塊，進行Jmeter壓測性能的時候發(fā)現(xiàn)tomcat并發(fā)上不去，深入原因找到可供優(yōu)化的地方，力求最大性能。

發(fā)現(xiàn)并發(fā)容器問題

對單接口進行6000線程壓測，每個線程請求5次，線程在5秒內創(chuàng)建完畢，當進行一半的時候，已經(jīng)出現(xiàn)了請求響應時間過大及其錯誤率達到了43%。這個并發(fā)容量對于配置比較好點的服務器相對來說有點弱。

深入SpringBoot底層了解原因

在SpringBoot官方文檔中提到了關于元數(shù)據(jù)的配置

可以看到，關于我們最常用的設置項目的端口的默認配置就在其中。

默認內嵌Tomcat配置

1、server.tomcat.accept-count：等待隊列長度，當可分配的線程數(shù)全部用完之后，后續(xù)的請求將進入等待隊列等待，等待隊列滿后則拒絕處理，默認100。

2、server.tomcat.max-connections：最大可被連接數(shù)，默認10000

3、server.tomcat.max-threads：最大工作線程數(shù)，默認200,

4、server.tomcat.min-spare-threads：最小工作線程數(shù)，初始化分配線程數(shù)，默認10

默認配置下，連接超過10000后會出現(xiàn)拒絕連接情況

默認配置下，觸發(fā)的請求超過200+100后拒絕處理(最大工作線程數(shù)+等待隊列長度)

這些元數(shù)據(jù)Spring當然提供了外部配置功能

#更改內嵌tomcat參數(shù)
server.port=8080
## 等待隊列長度，默認100。
server.tomcat.accept-count=1000
## 最大工作線程數(shù)，默認200。（4核8g內存，線程數(shù)經(jīng)驗值800，操作系統(tǒng)做線程之間的切換調度是有系統(tǒng)開銷的，所以不是越多越好。）
server.tomcat.max-threads=800
## 最小工作空閑線程數(shù)，默認10。（適當增大一些，以便應對突然增長的訪問量）
server.tomcat.min-spare-threads=100

SpringBoot內置Tomcat，在默認設置中，Tomcat的最大線程數(shù)是200，最大連接數(shù)是10000。支持的并發(fā)量是指連接數(shù)，200個線程如何處理10000條連接的？

目前Tomcat有三種處理連接的模式，一種是BIO，一個線程只處理一個連接，另一種就是NIO，一個線程處理多個連接。由于HTTP請求不會太耗時，而且多個連接一般不會同時來消息，所以一個線程處理多個連接沒有太大問題。

還有一種是apr模式，后續(xù)會詳細介紹一下tomcat的這三種模式，這里不做深入討論。

Tomcat啟動的時候，可以通過log看到Connector使用的是哪一種運行模式：

Starting ProtocolHandler ["http-bio-8080"]
Starting ProtocolHandler ["http-nio-8080"]
Starting ProtocolHandler ["http-apr-8080"]

默認值可以在spring-boot-autoconfigure-版本號.jar（比如：spring-boot-autoconfigure-2.1.0.RELEASE） 包中看到，解壓反編譯/web/ServerProperties.class文件就可以看到默認配置。

定制化內嵌Tomcat開發(fā)

關于KeepAlive

在使用Jmeter的Http請求中默認是開啟KeepAlive的

Http的KeepAlive請求為當我們的客戶端向我們的服務器發(fā)送Http請求的時候，若帶上了KeepAlive的請求頭，則表明我們的Http客戶端希望跟服務端之間建立一個KeepAlive的連接，這個連接對應的用處就是說，向我們的服務端發(fā)送完對應的響應之后，我們的服務端不要立馬斷開連接，而是等待嘗試復用連接。

此解決方案是用來解決Http的一個響應，無狀態(tài)，每次都要斷開連接，新建連接所帶來的一個耗時問題。

但如果說我們每個網(wǎng)頁請求打開之后都跟服務端保持一個長連接，那我們服務端的連接數(shù)很快就會被用完了，因此再最早的Http1.0的時候是沒有設計KeepAlive的請求的，但是現(xiàn)在的Http1.1加上KeepAlive請求，目的就是越來越多的移動端的設備，甚至于一些很復雜的網(wǎng)頁交互，需要在用戶瀏覽的過程當中，頻繁的向服務端發(fā)送請求，因此，建立一個KeepAlive連接，并非為了壓測的目的，而是真正的在應用場景上是有一些性能的好處的，無論是客戶端還是服務端，在做一些網(wǎng)絡通信的交互上面，無需每次都新建連接，斷開連接，耗費Tcp/Ip建連的時間，而僅僅只需要發(fā)送數(shù)據(jù)即可。

但是這樣的設計也會帶來一些問題，如果說我們的服務端對KeepAlive的操作沒有做任何限制 1.連接不做任何操作，不做任何響應，那這條連接對服務端來說就是一條費連接 2.有一些攻擊者惡意利用KeepAlive連接向我們的服務端發(fā)送DDOS的攻擊，那服務端對應的連接只會成為攻擊者攻擊的后門，因此，為了安全，我們需要定制化Tomcat開發(fā)

配置

1、KeepAliveTimeOut：多少毫秒后客戶端不響應則斷開KeepAlive

2、maxKeepAliveRequests：多少次請求后KeepAlive斷開失效

在SpringBoot官方文檔中提到了對內嵌容器的配置

//當spring容器內沒有TomcatEmbeddedServletContainerFactory這個bean時，會把bean加載進spring容器
@Configuration
public class WebServerConfiguration implements WebServerFactoryCustomizer<ConfigurableWebServerFactory> {
@Override
public void customize(ConfigurableWebServerFactory factory) {
　　//使用對應工廠類提供給我們的接口定制化我們的tomcat connector
　　((TomcatServletWebServerFactory)factory).addConnectorCustomizers(new TomcatConnectorCustomizer() {
　　　　@Override
　　　　public void customize(Connector connector) {
　　　　　　Http11NioProtocol protocol= (Http11NioProtocol) connector.getProtocolHandler();
　　　　　　//定制KeepAliveTimeout，設置30秒內沒有請求則服務器自動斷開keepalive連接
　　　　　　protocol.setKeepAliveTimeout(30000);
　　　　　　//當客戶端發(fā)送超過10000個請求則自動斷開keepalive連接
　　　　　　protocol.setMaxKeepAliveRequests(10000);
　　　　}
　　});
}
}

容器問題優(yōu)化

響應時間變長，TPS上不去

單Web容器上限

線程數(shù)量：

4核CPU 8G內存單進程調用線程數(shù)800-1000,1000以上后即花費巨大的時間在CPU調度上

等待隊列長度：

隊列做緩沖池用，但也不能無限長，消耗內存，出隊入隊也耗CPU

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論