Memcache緩存系統(tǒng)知識點(diǎn)梳理
Memcached是一個免費(fèi)開源的,高性能的,具有分布式對象的緩存系統(tǒng),它可以用來保存一些經(jīng)常存取的對象或數(shù)據(jù),保存的數(shù)據(jù)像一張巨大的HASH表,該表以Key-value對的方式存在內(nèi)存中。
官網(wǎng)下載地址: http://www.memcached.org/
運(yùn)行環(huán)境: linux,BSD,windows都可跑
協(xié)議理論:http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt (英文)
操作流程:

1、檢查客戶端的請求數(shù)據(jù)是否在memcached中,如有,直接把請求數(shù)據(jù)返回,不再對數(shù)據(jù)庫進(jìn)行任何操作,路徑操作為①②③⑦。
2、如果請求的數(shù)據(jù)不在memcached中,就去查數(shù)據(jù)庫,把從數(shù)據(jù)庫中獲取的數(shù)據(jù)返回給客戶端,同時把數(shù)據(jù)緩存一份到memcached中(memcached客戶端不負(fù)責(zé),需要程序明確實(shí)現(xiàn)),路徑操作為①②④⑤⑦⑥。
3、每次更新數(shù)據(jù)庫的同時更新memcached中的數(shù)據(jù),保證一致性。
4、當(dāng)分配給memcached內(nèi)存空間用完之后,會使用LRU(Least Recently Used,最近最少使用)策略加上到期失效策略,失效數(shù)據(jù)首先被替換,然后再替換掉最近未使用的數(shù)據(jù)。
Memcached特征:
協(xié)議簡單
它是基于文本行的協(xié)議,直接通過telnet在memcached服務(wù)器上可進(jìn)行存取數(shù)據(jù)操作
基于libevent事件處理
Libevent是一套利用C開發(fā)的程序庫,它將BSD系統(tǒng)的kqueue,Linux系統(tǒng)的epoll等事件處理功能封裝成一個接口,與傳統(tǒng)的select相比,提高了性能。
內(nèi)置的內(nèi)存管理方式
所有數(shù)據(jù)都保存在內(nèi)存中,存取數(shù)據(jù)比硬盤快,當(dāng)內(nèi)存滿后,通過LRU算法自動刪除不使用的緩存,但沒有考慮數(shù)據(jù)的容災(zāi)問題,重啟服務(wù),所有數(shù)據(jù)會丟失。
分布式
各個memcached服務(wù)器之間互不通信,各自獨(dú)立存取數(shù)據(jù),不共享任何信息。服務(wù)器并不具有分布式功能,分布式部署取決于memcache客戶端。
Memcached安裝與啟動:
安裝memcached需要先安裝libevent
Shell>tar zxvf libevent-1.4.14b-stable.tar.gz
Shell>cd libevent-1.4.14b-stable
Shell>./configure
Shell>make && make install
安裝memcached
Shell>tar zxvf memcached-1.2.5.tar.tar
Shell>cd memcached-1.2.5
Shell>./configure –prefix=/usr/local/memcached
Shell>make && make install
啟動memcached
Shell>/usr/local/memcached/bin/memcached –p 11211 –d –u root –P /tmp/memcached.pid
-P是表示使用TCP,默認(rèn)端口為11211
-d表示后臺啟動一個守護(hù)進(jìn)程(daemon)
-u表示指定root用戶啟動,默認(rèn)不能用root用戶啟動
-P表示進(jìn)程的pid存放地點(diǎn),此處“p”為大寫“P”
-l,后面跟IP地址,手工指定監(jiān)聽IP地址,默認(rèn)所有IP都在監(jiān)聽
-m后面跟分配內(nèi)存大小,以MB為單位,默認(rèn)為64M
-c最大運(yùn)行并發(fā)連接數(shù),默認(rèn)為1024
-f 塊大小增長因子,默認(rèn)是1.25
-M 內(nèi)存耗盡時返回錯誤,而不是刪除項(xiàng),即不用LRU算法
在64位系統(tǒng)中,會報(bào)libevent-1.4.so.2文件無法找到,解決辦法是把32位目錄里的同名文件鏈接至64位目錄中,即像windows那樣建立快捷方式。
Shell > /usr/local/lib/libevent-1.4.so.2 /usr/lib64/libevent-1.4.so.2
啟動后如果發(fā)現(xiàn)沒有端口在監(jiān)聽,是因?yàn)槊鼊用顣r帶pid參數(shù)的“p”是大寫“P”,你可能寫成小寫了。
命令行直接操作命令
存,有六個命令項(xiàng)。
Set:添加一個新條目到memcached或是用新的數(shù)據(jù)替換替換掉已存在的條目
Add:當(dāng)KEY不存在的情況下,它向memcached存數(shù)據(jù),否則,返回NOT_STORED響應(yīng)
Replace:當(dāng)KEY存在的情況下,它才會向memcached存數(shù)據(jù),否則返回NOT_STORED響應(yīng)
Cas:改變一個存在的KEY值 ,但它還帶了檢查的功能
Append:在這個值后面插入新值
Prepend:在這個值前面插入新值
取,有兩個命令項(xiàng):
Get:取單個值 ,從緩存中返回?cái)?shù)據(jù)時,將在第一行得到KEY的名字,flag的值和返回的value長度,真正的數(shù)據(jù)在第二行,最后返回END,如KEY不存在,第一行就直接返回END
Get_multi:一次性取多個值
刪除,一個命令:
實(shí)例操作:
先連接到memcache

在入數(shù)據(jù)
369369.blog.51cto.com
回車后系統(tǒng)自動保存,并返回正常值STORED
存入命令格式為
<command> <key> <flags> <exptime> <bytes> \r\n
注意在設(shè)定bytes字節(jié)后,存入的值的長度一定要與之匹配,否則無法保存成功,像liuguohua字段為21字節(jié),所以存入的369369.blog.51cto.com長度為21(總計(jì)為21個數(shù)字或字母)。

取數(shù)據(jù)
回車后,第一行返回VALUE liuguohua 0 21
第二行,返回真正值369369.blog.51cto.com

Memcached的內(nèi)存算法:
Memcached利用slab allocation機(jī)制來分配和管理內(nèi)存,它按照預(yù)先規(guī)定的大小,將分配的內(nèi)存分割成特定長度的內(nèi)存塊,再把尺寸相同的內(nèi)存塊分成組,數(shù)據(jù)在存放時,根據(jù)鍵值 大小去匹配slab大小,找就近的slab存放,所以存在空間浪費(fèi)現(xiàn)象。
傳統(tǒng)的內(nèi)存管理方式是,使用完通過malloc分配的內(nèi)存后通過free來回收內(nèi)存,這種方式容易產(chǎn)生內(nèi)存碎片并降低操作系統(tǒng)對內(nèi)存的管理效率。

Memcached的緩存策略:
Memcached的緩存策略是LRU(最近最少使用)加上到期失效策略。當(dāng)你在memcached內(nèi)存儲數(shù)據(jù)項(xiàng)時,你有可能會指定它在緩存的失效時間,默認(rèn)為永久。當(dāng)memcached服務(wù)器用完分配的內(nèi)時,失效的數(shù)據(jù)被首先替換,然后也是最近未使用的數(shù)據(jù)。在LRU中,memcached使用的是一種Lazy Expiration策略,自己不會監(jiān)控存入的key/vlue對是否過期,而是在獲取key值時查看記錄的時間戳,檢查key/value對空間是否過期,這樣可減輕服務(wù)器的負(fù)載。
Memcached的分布式算法:
當(dāng)向memcached集群存入/取出key/value時,memcached客戶端程序根據(jù)一定的算法計(jì)算存入哪臺服務(wù)器,然后再把key/value值存到此服務(wù)器中。也就是說,存取數(shù)據(jù)分二步走,第一步,選擇服務(wù)器,第二步存取數(shù)據(jù)。

分布式算法(Consistent Hashing):
選擇服務(wù)器算法有兩種,一種是根據(jù)余數(shù)來計(jì)算分布,另一種是根據(jù)散列算法來計(jì)算分布。
余數(shù)算法:
先求得鍵的整數(shù)散列值,再除以服務(wù)器臺數(shù),根據(jù)余數(shù)確定存取服務(wù)器,這種方法計(jì)算簡單,高效,但在memcached服務(wù)器增加或減少時,幾乎所有的緩存都會失效。
散列算法:
先算出memcached服務(wù)器的散列值,并將其分布到0到2的32次方的圓上,然后用同樣的方法算出存儲數(shù)據(jù)的鍵的散列值并映射至圓上,最后從數(shù)據(jù)映射到的位置開始順時針查找,將數(shù)據(jù)保存到查找到的第一個服務(wù)器上,如果超過2的32次方,依然找不到服務(wù)器,就將數(shù)據(jù)保存到第一臺memcached服務(wù)器上。如果添加了一臺memcached服務(wù)器,只在圓上增加服務(wù)器的逆時針方向的第一臺服務(wù)器上的鍵會受到影響。

Memcache的管理與性能監(jiān)控:
可以通過命令行直接管理與監(jiān)控也可通過nagios,cacti等web軟件進(jìn)行監(jiān)控
命令行:
Shell>telnet 127.0.0.1 1211 //如果在啟動時指定了IP及端口號,這里要作相應(yīng)改動
連接成功后命令
Stats:統(tǒng)計(jì)memcached的各種信息
Stats reset:重新統(tǒng)計(jì)數(shù)據(jù)
Stats slabs,顯示slabs信息,可以詳細(xì)看到數(shù)據(jù)的分段存儲情況
Stats items:顯示slab中的item數(shù)目
Stats cachedump 1 0:列出slabs第一段里存的KEY值
Set|get:保存或獲取數(shù)據(jù)
STAT evictions 0:表示要騰出新空間給新的item而移動的合法item數(shù)目
其它常用軟件使用:
Shell>./Memcached-tool 127.0.0.1:11211
Shell>./Memcached-tool 127.0.0.1:11211 display
Web軟件:
Memcache.php
Nagios插件
Cacti模塊
Memcached與redis比較:

本文出自 “系統(tǒng)網(wǎng)絡(luò)運(yùn)維” 博客,請務(wù)必保留此出處http://369369.blog.51cto.com/319630/833234
相關(guān)文章
一文詳解如何解決version?GLIBCXX_3.4.29?not?found問題
這篇文章主要給大家介紹了關(guān)于如何解決version?GLIBCXX_3.4.29?not?found問題的相關(guān)資料,文中通過圖文以及代碼代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-01-01
服務(wù)器ssh實(shí)現(xiàn)釘釘機(jī)器人告警
釘釘開放平臺機(jī)器人可應(yīng)用消息推送、監(jiān)控報(bào)警等多種場景中,這篇文章主要介紹了服務(wù)器ssh實(shí)現(xiàn)釘釘機(jī)器人告警方法,需要的朋友可以參考下2024-07-07
Git發(fā)現(xiàn)git push origin master 報(bào)錯的解決方法
本篇文章主要介紹了Git發(fā)現(xiàn)git push origin master 報(bào)錯的解決方法,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2017-11-11
Ansible?Galaxy命令的使用實(shí)踐示例詳解
這篇文章主要為大家介紹了Ansible?Galaxy命令的使用實(shí)踐示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-01-01
KB967723補(bǔ)丁造成的MYSQL在Win2003上頻繁連接不上的問題的解決方法
微軟9月9日發(fā)布了TCP/IP更新補(bǔ)?。↘B967723),如果服務(wù)器開啟自動更新或者有自動更新軟件下載更新了這個補(bǔ)丁,那么就會出現(xiàn)這個問題。2011-02-02
Caddy 一個用Go實(shí)現(xiàn)的Web Server
這篇文章主要介紹了Caddy 一個用Go實(shí)現(xiàn)的Web Server,簡潔易用,需要的朋友可以參考下2016-11-11
Win2003下cwRsyncServer服務(wù)端與cwRsync客戶端數(shù)據(jù)同步實(shí)例教程
這篇文章主要介紹了Win2003下cwRsyncServer服務(wù)端與cwRsync客戶端數(shù)據(jù)同步實(shí)例教程,需要的朋友可以參考下2015-07-07

