快捷導(dǎo)航

Waiting for server respnse耗時(shí)過(guò)長(zhǎng)原因排查及解決

更新時(shí)間：2023年05月24日 09:03:00 作者：iiopsd

這篇文章主要給大家介紹了關(guān)于Waiting for server respnse耗時(shí)過(guò)長(zhǎng)原因排查及解決的相關(guān)資料,文中將解決的辦法介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

背景

開(kāi)發(fā)了一個(gè)導(dǎo)入接口，測(cè)試過(guò)程中發(fā)現(xiàn)導(dǎo)入壓縮包24M時(shí)，耗時(shí)50多秒。覺(jué)得這個(gè)時(shí)間太長(zhǎng)了，可能存在問(wèn)題，于是開(kāi)始了漫長(zhǎng)的排查之旅。

查看接口時(shí)間

通過(guò)Chrome DevTools 查看接口請(qǐng)求信息，發(fā)現(xiàn)接口時(shí)間主要消耗在發(fā)送數(shù)據(jù)（Request sent）和等待服務(wù)器響應(yīng)（Waiting for server respnse）兩部分。

Request sent：平均在31s

Waiting for server respnse：平均18s

Request sent時(shí)間屬于正常偏慢，因?yàn)榘l(fā)送數(shù)據(jù)受網(wǎng)絡(luò)上行帶寬限制，暫時(shí)也沒(méi)辦法做太大的優(yōu)化。
Waiting for server respnse時(shí)間有很大的問(wèn)題，因?yàn)榻涌谥兄蛔隽撕?jiǎn)單的操作，復(fù)雜的數(shù)據(jù)處理都是異步執(zhí)行的，所以問(wèn)題應(yīng)該在服務(wù)端。

排查接口問(wèn)題

懷疑是接口請(qǐng)求問(wèn)題后，就使用arthas trace 查看接口詳細(xì)耗時(shí)。

docker exec -it xxx java -jar /arthas/arthas-boot.jar
[INFO] arthas-boot version: 3.5.1
[INFO] Found existing java process, please choose one and input the serial number of the process, eg : 1. Then hit ENTER.
* [1]: 10 org.springframework.boot.loader.JarLauncher

[INFO] arthas home: /opt/arthas
[INFO] Try to attach process 10
[INFO] Attach process 10 success.
[INFO] arthas-client connect 127.0.0.1 3658
  ,---.  ,------. ,--------.,--.  ,--.  ,---.   ,---.                           
 /  O  \ |  .--. ''--.  .--'|  '--'  | /  O  \ '   .-'                          
|  .-.  ||  '--'.'   |  |   |  .--.  ||  .-.  |`.  `-.                          
|  | |  ||  |\  \    |  |   |  |  |  ||  | |  |.-'    |                         
`--' `--'`--' '--'   `--'   `--'  `--'`--' `--'`-----'                          
                                                                                

wiki       https://arthas.aliyun.com/doc                                        
tutorials  https://arthas.aliyun.com/doc/arthas-tutorials.html                  
version    3.5.1                                                                
main_class                                                                      
pid        10                                                                   
time       2022-11-23 19:07:06                                                  

[arthas@10]$ trace xxx.XXXController test  -n 5 --skipJDKMethod false 
Press Q or Ctrl+C to abort.
Affect(class count: 2 , method count: 2) cost in 601 ms, listenerId: 1
`---ts=2022-11-24 13:44:28;thread_name=http-nio-9001-exec-17;id=bd;is_daemon=true;priority=5;TCCL=org.xxx.xxxClassLoader@300aa927
    `---[211.492528ms] xxx.XXXController$$EnhancerBySpringCGLIB$$103cd3e4:test()
        `---[166.654272ms] org.xxx.MethodInterceptor:intercept() #57
            `---[102.043649ms] com.xxx.XXXController:test()
                +---[101.125313ms] com.xxx.XXXService:importUser() #359
                `---[0.754306ms] com.xxx.XXXBuilder:success() #57

根據(jù)arthas trace日志顯示，接口耗時(shí)在200ms左右，這才是符合預(yù)期的時(shí)間。沒(méi)有找到具體問(wèn)題，只能代碼走查一遍。接口邏輯其實(shí)很清晰，先校驗(yàn)文件格式大小，然后創(chuàng)建異步任務(wù)（插入一條數(shù)據(jù)），最后執(zhí)行異步任務(wù)。因?yàn)橛挟惒饺蝿?wù)，所以整個(gè)接口耗時(shí)應(yīng)該最多幾百毫秒，初步判斷arthas trace的結(jié)果正確合理。

排查網(wǎng)關(guān)問(wèn)題

既然接口實(shí)現(xiàn)沒(méi)有問(wèn)題，那就往上游排查，查看網(wǎng)關(guān)是否存在問(wèn)題。查看網(wǎng)關(guān)接口請(qǐng)求和返回時(shí)間和剛才arthas trace時(shí)間相差無(wú)幾，排除了網(wǎng)關(guān)的問(wèn)題。

排查SLB問(wèn)題

網(wǎng)關(guān)沒(méi)問(wèn)題只能在往上排查問(wèn)題，測(cè)試了另一個(gè)環(huán)境B發(fā)現(xiàn)是相對(duì)正常的，Waiting for server respnse 時(shí)間在600ms左右。

對(duì)比討論了下兩個(gè)環(huán)境的差異，發(fā)現(xiàn)有問(wèn)題的環(huán)境A相比正常的環(huán)境B多了一層SLB負(fù)載均衡，懷疑可能是這個(gè)問(wèn)題。網(wǎng)上查了相關(guān)資料，也沒(méi)有顯示SLB有出現(xiàn)過(guò)這種情況。

于是讓運(yùn)維先關(guān)閉SLB負(fù)載均衡驗(yàn)證一下情況，修改SLB配置后需要一小會(huì)才能生效，結(jié)果顯示關(guān)掉SLB接口請(qǐng)求時(shí)間還是有問(wèn)題，因此也不是SLB的問(wèn)題，于是只是剩下Nginx了。

排查Nginx問(wèn)題

排查了一下午沒(méi)有結(jié)果，然后就先去吃飯休息，踢踢桌面足球放松一下。

放松回來(lái)后，開(kāi)始排查了Nginx配置，嘗試重啟ng，修改buffer大小都無(wú)濟(jì)于事。掃到ng配置的時(shí)候發(fā)現(xiàn)ng做了一次負(fù)載均衡，而且服務(wù)器地址配置的是公網(wǎng)ip，猜測(cè)可能是這個(gè)問(wèn)題，死馬當(dāng)成活馬醫(yī)，隨便試試看。修改為內(nèi)網(wǎng)地址，然后重啟ng后驗(yàn)證發(fā)現(xiàn)正常了。就這樣正常了?；舜蟀胩鞎r(shí)間，總算解決了。后來(lái)復(fù)盤討論猜測(cè)，應(yīng)該是ng接收到文件后，通過(guò)負(fù)載均衡走公網(wǎng)ip轉(zhuǎn)了一圈回來(lái)導(dǎo)致Waiting for server respnse 耗時(shí)過(guò)長(zhǎng)。

一不小心就有坑。

總結(jié)

到此這篇關(guān)于Waiting for server respnse耗時(shí)過(guò)長(zhǎng)原因排查及解決的文章就介紹到這了,更多相關(guān)Waiting for server respnse耗時(shí)過(guò)長(zhǎng)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！