使用Nginx作緩存服務(wù)器以及刪除其緩存文件的方法
更新時(shí)間：2015年11月09日 16:58:13 投稿：goldensun
這篇文章主要介紹了使用Nginx作緩存服務(wù)器以及刪除其緩存文件的方法,作cache時(shí)需要注意一下磁盤(pán)的IO瓶頸,需要的朋友可以參考下
使用nginx做cache服務(wù)器
需求就是緩存android的軟件包，后綴名是apk。話不多說(shuō)，直接上配置,供參考:
a-->nginx.conf
user www www;
worker_processes 8;
error_log /data/logs/nginx_error.log crit;
pid /usr/local/nginx/nginx.pid;
worker_rlimit_nofile 204800;
events
{
use epoll;
worker_connections 204800;
}
http
{
include mime.types;
#apk 文件類(lèi)型
#default_type application/vnd.android.package-archive;
default_type application/octet-stream;
charset utf-8;
server_names_hash_bucket_size 128;
client_header_buffer_size 2k;
large_client_header_buffers 4 4k;
client_max_body_size 8m;
sendfile on;
tcp_nopush on;
keepalive_timeout 60;
open_file_cache max=204800 inactive=20s;
open_file_cache_min_uses 1;
open_file_cache_valid 30s;
tcp_nodelay on;
client_body_buffer_size 512k;
#跟后端服務(wù)器連接的超時(shí)時(shí)間_發(fā)起握手等候響應(yīng)超時(shí)時(shí)間
proxy_connect_timeout 600;
#連接成功后_等候后端服務(wù)器響應(yīng)的時(shí)間_其實(shí)已經(jīng)進(jìn)入后端的排隊(duì)之中等候處理
proxy_read_timeout 600;
#后端服務(wù)器數(shù)據(jù)回傳時(shí)間_就是在規(guī)定時(shí)間內(nèi)后端服務(wù)器必須傳完所有數(shù)據(jù)
proxy_send_timeout 600;
#代理請(qǐng)求緩存區(qū)_這個(gè)緩存區(qū)間會(huì)保存用戶(hù)的頭信息以供Nginx進(jìn)行規(guī)則處理_一般只要能保存下頭信息即可
proxy_buffer_size 16k;
#同上 告訴Nginx保存單個(gè)用的幾個(gè)Buffer最大用多大空間
proxy_buffers 4 64k;
#如果系統(tǒng)很忙的時(shí)候可以申請(qǐng)更大的proxy_buffers 官方推薦*2
proxy_busy_buffers_size 128k;
#proxy緩存臨時(shí)文件的大小
proxy_temp_file_write_size 128k;
gzip on;
gzip_proxied expired no-cache no-store private auth;
gzip_min_length 1k;
gzip_buffers 4 16k;
gzip_http_version 1.1;
gzip_comp_level 3;
gzip_types text/plain application/x-javascript text/css application/xml;
gzip_disable "MSIE [1-6]\.";
gzip_vary on;
#log_format access '$remote_addr - $remote_user [$time_local] '
# '"$request" $status $body_bytes_sent '
# '"$http_referer" "$http_user_agent" '
# '$host $request_time $http_x_forwarded_for';
#access_log /data/logs/http.a.log;
#error_log /data/logs/http.e.log;
include vhosts/cache.peiqiang.net.conf;
}
upstream source_site {
server 192.168.1.1:80 weight=7 max_fails=2 fail_timeout=30s;
server 192.168.1.2:80 weight=4 max_fails=2 fail_timeout=30s;
}
b-->cache.peiqiang.net.conf
#用于指定本地目錄來(lái)緩沖較大的代理請(qǐng)求
proxy_temp_path /data/soft/temp;
#設(shè)置web緩存區(qū)名為cache_one,內(nèi)存緩存空間大小為12000M，自動(dòng)清除超過(guò)15天沒(méi)有被訪問(wèn)過(guò)的緩存數(shù)據(jù)，硬盤(pán)緩存空間大小200g
proxy_cache_path /data/soft/cache levels=1:2 keys_zone=cache_one:12000m inactive=15d max_size=200g;
server {
listen 80;
server_name cache.peiqiang.net;
access_log /data/logs/a.log;
error_log /data/logs/e.log notice;
# PHP Scripts is NOT allowed within this site!
location ~* \.(php|php5|jsp|asp|aspx)$ {
deny all;
}
location / {
proxy_next_upstream http_500 http_502 http_503 http_504 error timeout invalid_header;
proxy_cache cache_one;
proxy_cache_valid 200 304 12h;
proxy_cache_key $uri$is_args$args;
#反向代理，訪問(wèn)后端內(nèi)容源服務(wù)器
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $remote_addr;
proxy_pass http://source_site;
}
location ~* .*\.(apk)$ {
error_page 302 404 = @fallback;
#如果后端的服務(wù)器返回500、502、503、504執(zhí)行超時(shí)等錯(cuò)誤、自動(dòng)將請(qǐng)求轉(zhuǎn)發(fā)到upstream負(fù)載均衡池中的另一臺(tái)服務(wù)器，實(shí)現(xiàn)故障轉(zhuǎn)移
proxy_next_upstream http_500 http_502 http_503 http_504 error timeout invalid_header;
#使用web緩存區(qū)cache_one
proxy_cache cache_one;
#對(duì)不同的HTTP狀態(tài)碼緩存設(shè)置不同的緩存時(shí)間
proxy_cache_valid 200 304 12h;
#設(shè)置Web緩存的Key值，Nginx根據(jù)Key值md5哈希存儲(chǔ)緩存，這里根據(jù)"域名、URI、參數(shù)"組合成key
proxy_cache_key $uri$is_args$args;
#反向代理，訪問(wèn)后端內(nèi)容源服務(wù)器
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $remote_addr;
proxy_pass http://source_site;
expires 1d;
}
location @fallback {
rewrite ^ $scheme://apke.peiqiang.net$uri redirect;
expires -1;
}
}
說(shuō)明：其實(shí)按這個(gè)配置location /這個(gè)匹配是多余的，因?yàn)檫^(guò)來(lái)一個(gè)后綴名為apk的軟件包location ~* .*\.(apk)$已經(jīng)給匹配上了，不會(huì)再到location /了，不過(guò)由于我們還會(huì)緩存些其他后綴名的文件，所以location /就是必須的。
c-->/etc/rc.local #!/bin/sh # # This script will be executed *after* all the other init scripts. # You can put your own initialization stuff in here if you don't # want to do the full Sys V style init stuff. touch /var/lock/subsys/local ulimit -HSn 65535 /usr/local/nginx/sbin/nginx
刪除nginx緩存文件
一:腳本
a shell版
#!/bin/bash
#Date: 2013-06-27
#Auther: budong
#######################################################
#說(shuō)明：
# 1.本腳本用于清除nginx緩存文件
# 2.查看你的nginx是根據(jù)什么作為key來(lái)hash的，我的設(shè)置是 proxy_cache_key $uri$is_args$args;
# 因此nginx會(huì)根據(jù)$uri$is_args$args作為key進(jìn)行hash，因此可以模擬nginx對(duì)一個(gè)key進(jìn)行再
# hash找到相應(yīng)的文件路徑，刪除（具體可隨意找個(gè)緩存文件 more 一下看看)
# 3.緩存設(shè)置 proxy_cache_path /data/mumayi/cache levels=1:2 keys_zone=cache_one:6000m inactive=15d max_size=200g;
# 根據(jù)相應(yīng)的配置，請(qǐng)做相應(yīng)修改測(cè)試
# 4.uri格式請(qǐng)按照同級(jí)目錄下rm_apk_list.txt中填寫(xiě)
#####################################################
while read -r line
do
md5uri=`echo -n $line | md5sum | awk '{ print $1 }'`
filepath=`echo "$md5uri" | awk '{print "/data/mumayi/cache/"substr($0,length($0),1)"/"substr($0,length($0)-2,2)"/"$0}'`
rm -rf $filepath
done < /root/sbin/rm_apk_list.txt
b python版
#!/usr/local/python2.7/bin/python2.7
# -*- coding:utf8 -*-
#Date: 2013-06-26
#Name: budong
'''
說(shuō)明：
1.本腳本用于清除nginx緩存文件
2.查看你的nginx是根據(jù)什么作為key來(lái)hash的，我的設(shè)置是 proxy_cache_key $uri$is_args$args;
因此nginx會(huì)根據(jù)$uri$is_args$args作為key進(jìn)行hash，因此可以模擬nginx對(duì)一個(gè)key進(jìn)行再
hash找到相應(yīng)的文件路徑，刪除（具體可隨意找個(gè)緩存文件 more 一下看看)
3.緩存設(shè)置 proxy_cache_path /data/mumayi/cache levels=1:2 keys_zone=cache_one:6000m inactive=15d max_size=200g;
根據(jù)相應(yīng)的配置，請(qǐng)做相應(yīng)修改測(cè)試
4.uri格式請(qǐng)按照同級(jí)目錄下rm_apk_list.txt中填寫(xiě)
'''
import os
import sys
try:
from hashlib import md5
except:
from md5 import md5
reload( sys )
sys.setdefaultencoding('utf-8')
PROJECT_ROOT = os.path.dirname(os.path.abspath(__file__))
URI_FILE = ''.join([PROJECT_ROOT,'/rm_apk_list.txt'])
def nginx_purge(uri):
m = md5()
m.update("%s" % uri)
md5uri=m.hexdigest()
md5uri_len=len(md5uri)
dir1=md5uri[md5uri_len-1:]
dir2=md5uri[md5uri_len-3:md5uri_len-1]
file_path=("/data/mumayi/cache/%s/%s/%s" % (dir1, dir2, md5uri))
if os.path.exists(file_path):
os.remove(file_path)
with open("%s" % URI_FILE,'r') as uri_file:
for line in uri_file:
line = line.rstrip()
nginx_purge(line)
c ngx_cache_purge不做考慮，據(jù)說(shuō)已經(jīng)停止開(kāi)發(fā)了
說(shuō)明：
1 我的 /root/sbin/rm_apk_list.txt 文件
[root@budong ~]# cat /root/sbin/rm_apk_list.txt /2013/08/15/38/382272/shuazanzhushou_V1.8.16_mumayi_95a91.apk
2 查看一個(gè)緩存對(duì)象，應(yīng)該有些明白了吧
[root@budong ~]# more /data/mumayi/cache/0/00/db9327b60a6b3c164516117f90d9d000
KEY: /2013/10/23/43/432816/dinuochongwuDinoPets_V1.1.1_mumayi_0b399.apk HTTP/1.1 200 OK Server: nginx/1.2.6 Date: Sun, 15 Dec 2013 19:51:22 GMT Content-Type: application/vnd.android.package-archive Content-Length: 37466293 Connection: close Last-Modified: Wed, 23 Oct 2013 06:15:06 GMT Expires: Wed, 18 Dec 2013 17:35:07 GMT Cache-Control: max-age=604800 Accept-Ranges: bytes
相關(guān)文章
Nginx日志對(duì)于統(tǒng)計(jì)、系統(tǒng)服務(wù)排錯(cuò)很有用,下面這篇文章主要給大家介紹了關(guān)于nginx日志格式分析以及修改的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-04-04
nginx 配置特定IP訪問(wèn)的實(shí)現(xiàn)
本文主要介紹了nginx 配置特定IP訪問(wèn)的實(shí)現(xiàn),通過(guò)合理設(shè)置Nginx的配置文件,管理員可以根據(jù)實(shí)際需求,靈活地控制對(duì)網(wǎng)站資源的訪問(wèn),提高網(wǎng)站的安全性,感興趣的可以了解一下2024-01-01
這篇文章主要介紹了Nginx如何代理本地文件問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2025-03-03
這篇文章主要介紹了詳解nginx代理天地圖做緩存解決跨域問(wèn)題，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-08-08
Nginx使用Lua模塊實(shí)現(xiàn)WAF的原理解析
waf是通過(guò)執(zhí)行一系列針對(duì)HTTP/HTTPS的安全策略來(lái)專(zhuān)門(mén)為Web應(yīng)用提供保護(hù)的一款產(chǎn)品，本文重點(diǎn)給大家介紹Nginx使用Lua模塊實(shí)現(xiàn)WAF的原理，需要的朋友參考下吧2021-09-09
這篇文章主要給大家介紹了關(guān)于為何說(shuō)要小心Nginx的add_header指令的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-02-02
Nginx設(shè)置wordpress偽靜態(tài)的方法示例
偽靜態(tài)是相對(duì)真實(shí)靜態(tài)來(lái)講的，通常我們?yōu)榱嗽鰪?qiáng)搜索引擎的友好面，這篇文章主要介紹了Nginx設(shè)置wordpress偽靜態(tài)的方法示例，非常具有實(shí)用價(jià)值，需要的朋友可以參考下2018-09-09
詳解Nginx反向代理實(shí)現(xiàn)會(huì)話（session）保持的兩種方式
這篇文章主要介紹了詳解Nginx反向代理實(shí)現(xiàn)會(huì)話（session）保持的兩種方式，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-08-08
Nginx是一個(gè)高性能的HTTP和反向代理web服務(wù)器,同時(shí)也提供了IMAP/POP3/SMTP服務(wù),下面這篇文章主要給大家匯總介紹了關(guān)于前端必備的一些nginx知識(shí)點(diǎn),文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-03-03
Nginx圖片服務(wù)器配置之后圖片訪問(wèn)404的問(wèn)題解決
本文主要介紹了Nginx圖片服務(wù)器配置之后圖片訪問(wèn)404的問(wèn)題解決，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-03-03