1. 需求

在生產(chǎn)環(huán)境中，我們經(jīng)常需要將流量拷貝到預(yù)上線環(huán)境或測試環(huán)境，以便進行各種驗證和測試。這樣做的好處包括：

• 功能驗證與性能測試：通過真實流量測試新功能和服務(wù)的性能。
• 數(shù)據(jù)真實性：無需造數(shù)據(jù)，使用真實請求進行驗證，不影響線上正常訪問。
• 灰度發(fā)布的補充：鏡像流量不會影響真實流量，提供額外的測試手段。
• 問題排查：幫助定位線上問題。
• 服務(wù)重構(gòu)測試：對重構(gòu)后的服務(wù)進行全面測試。

為了實現(xiàn)這一需求，Nginx提供了ngx_http_mirror_module模塊。

2. 安裝Nginx

首先，設(shè)置yum倉庫。為此，創(chuàng)建一個文件/etc/yum.repos.d/nginx.repo，并將以下內(nèi)容寫入文件：

[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true

然后，使用yum安裝nginx：

sudo yum install nginx

默認情況下，nginx的配置文件是nginx.conf，一般位于/etc/nginx目錄下。啟動nginx非常簡單，只需在命令行中輸入：

sudo nginx

一旦master進程接收到重新加載配置的信號，它將檢查新配置文件的語法是否正確，并嘗試應(yīng)用新配置。如果成功，master進程將啟動新的worker進程，并發(fā)送消息給舊的worker進程，要求它們關(guān)閉。否則，將回滾更改并繼續(xù)使用舊配置。

停止nginx可以使用以下命令：

sudo nginx -s stop

nginx的master進程的進程ID默認情況下存放在nginx.pid文件中，該文件一般位于/var/run目錄下。

3. ngx_http_mirror_module

ngx_http_mirror_module模塊（1.13.4版本引入）通過創(chuàng)建后臺鏡像子請求來實現(xiàn)原始請求的鏡像。鏡像子請求的響應(yīng)會被忽略。

這里，“mirror”可以理解為像一個鏡像站點一樣，收集所有請求。有了這個鏡像，后續(xù)可以用它重現(xiàn)所有請求，從而實現(xiàn)將線上流量復(fù)制到其他地方。

官網(wǎng)給出的示例非常簡單：

location / {
    mirror /mirror;
}

如果請求體被鏡像，那么在創(chuàng)建子請求之前會先讀取請求體。

注意：通過yum安裝的Nginx可能不包含ngx_http_mirror_module模塊。因此，真正使用時最好采用自定義安裝，即從源碼構(gòu)建。

步驟：

1. 下載源碼：

   • 訪問Nginx下載頁面獲取源碼。

2. 編譯安裝：

   • 解壓源碼并進入目錄，執(zhí)行配置、編譯和安裝命令。

以下是一個示例配置：

upstream api.abc.com {
    server 127.0.0.1:8080;
}

upstream tapi.abc.com {
    server 127.0.0.1:8081;
}

server {
    listen 80;

    # 源站點
    location /api {
        proxy_pass http://api.abc.com;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        # 流量復(fù)制
        mirror /newapi;
        mirror /mirror2;
        mirror /mirror3;

        # 復(fù)制請求體
        mirror_request_body on;
    }

    # 鏡像站點
    location /tapi {
        proxy_pass http://tapi.abc.com$request_uri;
        proxy_pass_request_body on;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

運行效果：

假設(shè)我們有一個服務(wù)在127.0.0.1:8080上運行，并且我們在127.0.0.1:8081上有一個鏡像服務(wù)。當(dāng)我們訪問http://your_nginx_server/api/some_endpoint時，請求將被鏡像到/newapi、/mirror2和/mirror3指定的路徑（這些路徑可以是實際的服務(wù)路徑，也可以是日志收集路徑等）。

示例運行結(jié)果（假設(shè)通過日志查看）：

• 原始服務(wù)日志：

  127.0.0.1 - - [12/Oct/2023:12:34:56 +0000] "GET /api/some_endpoint HTTP/1.1" 200 123
  

• 鏡像服務(wù)日志（假設(shè)鏡像到另一個服務(wù)并記錄）：

  127.0.0.1 - - [12/Oct/2023:12:34:56 +0000] "GET /tapi/some_endpoint HTTP/1.1" 200 123 (mirrored from /api)
  

4. 補充命令

• 查看進程運行時間：

  ps -eo pid,user,lstart,etime,cmd | grep nginx
  

• 查看已經(jīng)建立連接的數(shù)量：

  netstat -an | grep ESTABLISHED | wc -l
  

• 查看80端口的連接數(shù)：

  netstat -an | grep ":80" | wc -l
  

通過以上步驟和配置，您可以輕松實現(xiàn)Nginx的流量拷貝功能，為測試和驗證提供強大支持。

到此這篇關(guān)于Nginx實現(xiàn)流量拷貝的示例代碼的文章就介紹到這了,更多相關(guān)Nginx 流量拷貝內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論