腳本之家服務器常用軟件

快捷導航

prometheus安裝和使用過程

更新時間：2023年06月20日 09:01:35 作者：輝子t1

Prometheus是一個開源的系統(tǒng)監(jiān)控和報警系統(tǒng)，通常會搭配prometheus進行監(jiān)控，同時也支持多種exporter采集數據，還支持pushgateway進行數據上報，Prometheus性能足夠支撐上萬臺規(guī)模的集群，這篇文章主要介紹了prometheus安裝和使用記錄,需要的朋友可以參考下

一、Prometheus介紹

Prometheus是一個開源的系統(tǒng)監(jiān)控和報警系統(tǒng)，現在已經加入到CNCF基金會，成為繼k8s之后第二個在CNCF托管的項目，在kubernetes容器管理系統(tǒng)中，通常會搭配prometheus進行監(jiān)控，同時也支持多種exporter采集數據，還支持pushgateway進行數據上報，Prometheus性能足夠支撐上萬臺規(guī)模的集群。

二、Prometheus特點

2.1、prometheus特點

1）多維度數據模型

每一個時間序列數據都由metric度量指標名稱和它的標簽labels鍵值對集合唯一確定：這個metric度量指標名稱指定監(jiān)控目標系統(tǒng)的測量特征（如：http_requests_total- 接收http請求的總計數）。labels開啟了Prometheus的多維數據模型：對于相同的度量名稱，通過不同標簽列表的結合, 會形成特定的度量維度實例。(例如：所有包含度量名稱為/api/tracks的http請求，打上method=POST的標簽，則形成了具體的http請求)。這個查詢語言在這些度量和標簽列表的基礎上進行過濾和聚合。改變任何度量上的任何標簽值，則會形成新的時間序列圖。

2）靈活的查詢語言（PromQL）：可以對采集的metrics指標進行加法，乘法，連接等操作；

3）可以直接在本地部署，不依賴其他分布式存儲；

4）通過基于HTTP的pull方式采集時序數據；

5）可以通過中間網關pushgateway的方式把時間序列數據推送到prometheus server端；

6）可通過服務發(fā)現或者靜態(tài)配置來發(fā)現目標服務對象（targets）。

7）有多種可視化圖像界面，如Grafana等。

8）高效的存儲，每個采樣數據占3.5 bytes左右，300萬的時間序列，30s間隔，保留60天，消耗磁盤大概200G。

9）做高可用，可以對數據做異地備份，聯(lián)邦集群，部署多套prometheus，pushgateway上報數據

2.2、什么是樣本

樣本：在時間序列中的每一個點稱為一個樣本（sample），樣本由以下三部分組成：

指標（metric）：指標名稱和描述當前樣本特征的 labelsets；
時間戳（timestamp）：一個精確到毫秒的時間戳；
樣本值（value）：一個 folat64 的浮點型數據表示當前樣本的值。

表示方式：通過如下表達方式表示指定指標名稱和指定標簽集合的時間序列：<metric name>{<label name>=<label value>, ...}

例如，指標名稱為 api_http_requests_total，標簽為 method="POST" 和 handler="/messages" 的時間序列可以表示為：api_http_requests_total{method="POST", handler="/messages"}

prometheus安裝和使用記錄

Getting started | Prometheus

Configuration | Prometheus

Download | Prometheus

Download Grafana | Grafana Labs

# prometheus
mkdir -m=777 -p /data/{download,app_logs,app/prometheus}
cd /data/download
wget https://github.com/prometheus/prometheus/releases/download/v2.45.0-rc.0/prometheus-2.45.0-rc.0.linux-amd64.tar.gz
tar xvfz prometheus-*.tar.gz
ln -s /data/download/prometheus-2.45.0-rc.0.linux-amd64/prometheus /usr/bin/prometheus
cp /data/download/prometheus-2.45.0-rc.0.linux-amd64/prometheus.yml /data/app/prometheus/prometheus.yml 
prometheus --config.file=/data/app/prometheus/prometheus.yml --web.listen-address=:9090 --web.enable-lifecycle --storage.tsdb.path=/data/app/prometheus/data >>/data/app_logs/prometheus.log 2>&1 &
# node_exporter 在需要監(jiān)控的服務器里安裝
mkdir -m=777 -p /data/{download,app_logs,app/prometheus}
cd /data/download
wget https://github.com/prometheus/node_exporter/releases/download/v1.6.0/node_exporter-1.6.0.linux-amd64.tar.gz
tar xvfz node_exporter*
ln -s /data/download/node_exporter-1.6.0.linux-amd64/node_exporter /usr/bin/node_exporter
# 啟動node_exporter,服務器暴露的端口是8080，同時服務器里有其他服務占用了8080端口，可以使用nginx將node_exporter獲取指標的api暴露出去
# location /metrics {
#     proxy_pass http://127.0.0.1:9000/metrics;
# }
node_exporter --web.listen-address 127.0.0.1:9000 >>/data/app_logs/node_exporter.log 2>&1 &
# 添加node_exporter之后，需要更新prometheus.xml添加targets，然后運行：curl -X PUT http://server_address:port/-/reload重新加載配置文件
# alert_manager可以和prometheus安裝到同一臺服務器
cd /data/download
wget https://github.com/prometheus/alertmanager/releases/download/v0.25.0/alertmanager-0.25.0.linux-amd64.tar.gz
tar xvfz alertmanager*
ln -s /data/download/alertmanager-0.25.0.linux-amd64/alertmanager /usr/bin/alertmanager
cp /data/download/alertmanager-0.25.0.linux-amd64/alertmanager.yml /data/app/prometheus/alertmanager.yml
alertmanager --config.file=/data/app/prometheus/alertmanager.yml --web.listen-address 127.0.0.1:9001 >>/data/app_logs/node_exporter.log 2>&1 &
# 將alert_manager的地址添加到prometheus.yml里的alertmanagers的targets里，然后運行：curl -X PUT http://server_address:port/-/reload重新加載配置文件

測試報警郵件功能：設置如果安裝exporter的服務器內存占用率超過50%或者tcp timewait超過10的時候就發(fā)郵件（在實際工作中需要設置一個合適的條件）：

prometheus.yml里添加rule_files的路徑：

# my global config
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).
# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          - 127.0.0.1:9001
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"
  - "/data/app/prometheus/alert.rules.yml"
# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "prometheus"
    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.
    scrape_interval: 5s
    static_configs:
            - targets: ["node1_ip:8080"]
            - targets: ["node2_ip:8080"]
              labels:
                groups: 'container'

alert.rules.yml里添加具體的rule，node_socket_TCP_tw這些具體的指標通過http://node_exporter_ip:port/metrics可以獲取到

groups:
- name: tcp-alert-group
  rules:
  - alert: TcpTimeWait
    expr: node_sockstat_TCP_tw > 10
    for: 10m
    labels:
      severity: warning
    annotations:
      summary: tcp time wait more than 10
      description: please check node_sockstat_TCP_tw metric
  - alert: MemoryUse
    expr: (node_memory_MemTotal_bytes-node_memory_MemFree_bytes-node_memory_Buffers_bytes-node_memory_Cached_bytes)/node_memory_MemTotal_bytes > 0.5
    for: 10m
    labels:
      severity: warning
    annotations:
      summary: memory use more than 50% for 10 min
      description: please check memory use

alertmanager.yml里配置告警郵件的信息：

global:
  resolve_timeout: 5m
  smtp_smarthost: your_smpt_host:port
  smtp_from: alertmanager@your_email_domain
  smtp_require_tls: false
route:
  group_by: ['alertname']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 10m
  receiver: 'email'
receivers:
  - name: 'email'
    email_configs:
    - to: 'receiver_email'
      send_resolved: true

yml文件一旦更新，需要重新加載配置：curl -X PUT http://server_address:port/-/reload

在Prometheus的界面可以看到添加的alert：

當alert的條件滿足后，alertmanager就會發(fā)郵件

grafana的安裝和啟動：

# grafana可以和prometheus里安裝到同一臺服務器
yum install -y https://dl.grafana.com/enterprise/release/grafana-enterprise-10.0.0-1.x86_64.rpm
# grafana默認啟動的端口號是3000，如果服務器沒有暴露3000端口的話，需要修改grafana的配置文件
sed -i 's/3000/8080/g' /usr/share/grafana/conf/defaults.ini
grafana server >> /data/app_logs/grafana.log 2>&1 &
# grafana數據保存地址：/var/lib/grafana.db

grafana啟動之后就可以在瀏覽器上打開對應的地址，初次登錄用戶名和密碼：admin/admin

Data sources里添加prometheus，grafana和prometheus啟動在同一臺服務器里的話，地址就可以用localhost

添加dashboard，在Explore里可以查詢指標并且添加到dashboard

cpu使用率：avg(1-irate(node_cpu_seconds_total{mode="idle"}[1m])) by(instance)

內存使用率：(node_memory_MemTotal_bytes-node_memory_MemFree_bytes-node_memory_Buffers_bytes-node_memory_Cached_bytes)/node_memory_MemTotal_bytes

tcp連接數：node_sockstat_TCP_alloc

dashboard：

注意點：

1.prometheus啟動的時候添加--web.enable-lifecycle才允許通過調用/-/reload接口重新加載配置文件
2.prometheus啟動的時候指定一個固定的數據存放位置--storage.tsdb.path=/data/app/prometheus/data，如果數據存放位置不一致，啟動后查不到歷史數據，歷史數據做備份的話，prometheus啟動的服務器還可以變更
3.grafana的數據保存地址：/var/lib/grafana.db，定期做備份，服務器發(fā)生系統(tǒng)錯誤無法使用的時候，在新的服務器里同步/var/lib/grafana.db文件之后，啟動grafana之前的配置不會丟失

到此這篇關于prometheus安裝和使用過程的文章就介紹到這了,更多相關prometheus安裝內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: