淺談PostgreSQL消耗的內存計算方法
wal_buffers默認值為-1,此時wal_buffers使用的是shared_buffers,wal_buffers大小為shared_buffers的1/32
autovacuum_work_mem默認值為-1,此時使用maintenance_work_mem的值
1 不使用wal_buffers、autovacuum_work_mem
計算公式為:
max_connections*work_mem + max_connections*temp_buffers +shared_buffers+(autovacuum_max_workers * maintenance_work_mem）
假設PostgreSQL的配置如下:
max_connections = 100 temp_buffers=32MB work_mem=32MB shared_buffers=19GB autovacuum_max_workers = 3 maintenance_work_mem=1GB #默認值64MB
select( (100*(32*1024*1024)::bigint) + (100*(32*1024*1024)::bigint) + (19*(1024*1024*1024)::bigint) + (3 * (1024*1024*1024)::bigint ) )::float8 / 1024 / 1024 / 1024 --output 28.25
此時pg滿載峰值時最多使用28.25GB內存,物理內容為32GB時,還有3.75GB內存給操作系統(tǒng)使用.
2 使用wal_buffers,不使用autovacuum_work_mem
計算公式為:
max_connections*work_mem + max_connections*temp_buffers +shared_buffers+wal_buffers+(autovacuum_max_workers * autovacuum_work_mem）
假設PostgreSQL的配置如下:
max_connections = 100 temp_buffers=32MB work_mem=32MB shared_buffers=19GB wal_buffers=16MB #--with-wal-segsize的默認值 autovacuum_max_workers = 3 maintenance_work_mem=1GB
select( (100*(32*1024*1024)::bigint) + (100*(32*1024*1024)::bigint) + (19*(1024*1024*1024)::bigint) + (16*1024*1024)::bigint + (3 * (1024*1024*1024)::bigint ) )::float8 / 1024 / 1024 / 1024 --output 28.26
此時pg滿載峰值時最多使用28.5GB內存,物理內容為32GB,還有3.5GB內存給操作系統(tǒng)使用.
3 同時使用wal_buffers、autovacuum_work_mem[建議使用]
計算公式為:
max_connections*work_mem + max_connections*temp_buffers +shared_buffers+wal_buffers+(autovacuum_max_workers * autovacuum_work_mem）+ maintenance_work_mem
假設PostgreSQL的配置如下:
max_connections = 100 temp_buffers=32MB work_mem=32MB shared_buffers=19GB wal_buffers=262143kb autovacuum_max_workers = 3 autovacuum_work_mem=256MB maintenance_work_mem=2GB
select( (100*(32*1024*1024)::bigint) + (100*(32*1024*1024)::bigint) + (19*(1024*1024*1024)::bigint) + (262143*1024)::bigint + (3 * (256*1024*1024)::bigint ) + ( 2 * (1024*1024*1024)::bigint ) )::float8 / 1024 / 1024 / 1024 --output 28.01
此時pg載峰值時最多使用28.25GB內存,物理內容為32GB時,還有3.75GB內存給操作系統(tǒng)使用.建議所有內存消耗根據硬件配置,也就是使用這個配置.
補充：postgresql 內存使用配置
shared_buffers：這是最重要的參數，postgresql通過shared_buffers和內核和磁盤打交道，因此應該盡量大，讓更多的數據緩存在shared_buffers中。通常設置為實際RAM的10％是合理的，比如50000(400M)
work_mem： 在pgsql 8.0之前叫做sort_mem。postgresql在執(zhí)行排序操作時，會根據work_mem的大小決定是否將一個大的結果集拆分為幾個小的和 work_mem查不多大小的臨時文件。顯然拆分的結果是降低了排序的速度。因此增加work_mem有助于提高排序的速度。通常設置為實際RAM的2% -4%，根據需要排序結果集的大小而定，比如81920(80M)
effective_cache_size：是postgresql能夠使用的最大緩存，這個數字對于獨立的pgsql服務器而言應該足夠大，比如4G的內存，可以設置為3.5G(437500)
maintenance_work_mem：這里定義的內存只是在CREATE INDEX, VACUUM等時用到，因此用到的頻率不高，但是往往這些指令消耗比較多的資源，因此應該盡快讓這些指令快速執(zhí)行完畢：給maintence_work_mem大的內存，比如512M(524288)
max_connections： 通常，max_connections的目的是防止max_connections * work_mem超出了實際內存大小。比如，如果將work_mem設置為實際內存的2%大小，則在極端情況下，如果有50個查詢都有排序要求，而且都使 用2％的內存，則會導致swap的產生，系統(tǒng)性能就會大大降低。當然，如果有4G的內存，同時出現50個如此大的查詢的幾率應該是很小的。不過，要清楚 max_connections和work_mem的關系。
配置 主機: 32GB
shared_buffers = 1024MB work_mem = 1MB effective_cache_size = 20480MB maintenance_work_mem = 1024MB max_connections = 8000
以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。
相關文章
Abp.NHibernate連接PostgreSQl數據庫的方法
這篇文章主要為大家詳細介紹了Abp.NHibernate連接PostgreSQl數據庫的方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-01-01
PostgreSQL是備受業(yè)界青睞的關系型數據庫,尤其是在地理空間和移動領域,這篇文章主要介紹了Win11安裝PostgreSQL數據庫的兩種方式詳細步驟,文中通過代碼介紹的非常詳細,需要的朋友可以參考下2025-04-04
PostgreSQL ERROR: invalid escape string 解決辦法
這篇文章主要介紹了PostgreSQL ERROR: invalid escape string 解決辦法,本文環(huán)境是JDBC+PostgreSQL,需要的朋友可以參考下2014-07-07
PostgreSQL 對IN,EXISTS,ANY/ALL,JOIN的sql優(yōu)化方案
這篇文章主要介紹了PostgreSQL 對IN,EXISTS,ANY/ALL,JOIN的sql優(yōu)化方案，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-01-01
很多小伙伴在把mysql數據庫里面的表導入pgsql數據庫的時候,會遇到新增數據的時候id不自增,這篇文章主要給大家介紹了關于PostgreSQL中實現自增的三種方式,需要的朋友可以參考下2024-02-02
這篇文章主要介紹了postgresql 索引之 hash的使用詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-02-02
這篇文章主要介紹了PgSQL條件語句與循環(huán)語句,pgSQL中有兩種條件語句分別為if與case語句，每種語句通過示例代碼給大家介紹的非常詳細，需要的朋友可以參考下2022-07-07
這篇文章主要介紹了PostgreSQL的中文拼音排序案例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-01-01
PostgreSQL處理時間段、時長轉為秒、分、小時代碼示例
最近在操作數據庫時,遇到頻繁的時間操作,每次弄完了就忘了,今天痛定思痛,下定決心對postgres的時間操作進行一下總結,這篇文章主要給大家介紹了關于PostgreSQL處理時間段、時長轉為秒、分、小時的相關資料,需要的朋友可以參考下2023-10-10
這篇文章主要給大家介紹了關于利用PostgreSQL實現一個通用標簽系統(tǒng)的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-01-01