python項(xiàng)目運(yùn)行導(dǎo)致內(nèi)存越來越大的原因詳析
問題描述：
目前遇到的問題是這樣的，爬蟲程序部署到K8S服務(wù)器上運(yùn)行，但是會過幾個小時之后，程序就會被主動殺掉重啟，原因是因?yàn)閮?nèi)存過載，超過K8S設(shè)置的4G。
程序運(yùn)行現(xiàn)象分析：
在線下進(jìn)行程序測試時，未讓程序長時間運(yùn)行（及4-5個小時），程序無異常則直接上測試環(huán)境測試，然后部署上線了運(yùn)行了。
通過線下觀察，確實(shí)程序使用內(nèi)存會因?yàn)闀r間而不斷增加
增長的速度雖然不是很快，但卻是在穩(wěn)定增加，說明程序中存在內(nèi)存使用未被釋放。
嘗試解決：
根據(jù)上網(wǎng)提供的方案，
import gc
gc.collect()
無效，該增加還是在增加，說明不是全局的內(nèi)存使用未被釋放，內(nèi)存回收正常。
通過斷點(diǎn)調(diào)試，發(fā)現(xiàn)，程序在使用代理的時候，內(nèi)存才會增加
程序每次運(yùn)行時會去獲取一個代理賦值到session的proxies中，程序使用的是多線程，則單位時間內(nèi)會有大量的代理信息會賦值到session中。
通過注釋掉獲取代理的這一步，發(fā)現(xiàn)確實(shí)內(nèi)存不在繼續(xù)增加。
原因分析：
Session對象存儲特定用戶會話所需的屬性及配置信息，，存儲在Session對象中的變量將不會丟失，而是在整個用戶會話中一直存在下去。所以隨著時間的推移，session中記錄的proxies信息就會越來越多，最終導(dǎo)致內(nèi)存使用過大，程序被殺。
解決方法：
不使用session進(jìn)行請求，使用原生requests.get即可。
總結(jié)
到此這篇關(guān)于python項(xiàng)目運(yùn)行導(dǎo)致內(nèi)存越來越大的原因詳析的文章就介紹到這了,更多相關(guān)python項(xiàng)目運(yùn)行內(nèi)存越來越大內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Python將字符串常量轉(zhuǎn)化為變量方法總結(jié)
在本篇內(nèi)容里我們給大家整理了一篇關(guān)于Python將字符串常量轉(zhuǎn)化為變量方法的知識點(diǎn)總結(jié)，有需要的朋友們學(xué)習(xí)下。2019-03-03
本文介紹了Python中的上下文管理器，以及如何結(jié)合with語句來使用上下文管理器，并且總結(jié)了一下with 語句的執(zhí)行流程。在很多情況下，with語句可以簡化代碼，并增加代碼的健壯性。2017-10-10
這篇文章主要介紹了Python sys模塊常用方法解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-02-02
小編在使用opencv讀取帶有中文路徑的圖片時,發(fā)現(xiàn)會出現(xiàn)亂碼的情況,當(dāng)讀取的文件路徑出現(xiàn)中文時,（文件夾名為中文或者文件為中文）出現(xiàn)錯誤,所以本文給大家介紹了Python讀取中文路徑出現(xiàn)亂碼問題的解決方案,需要的朋友可以參考下2024-06-06
本文主要介紹了python?獲取圖片中文字的幾種辦法，主要使用光學(xué)字符識別（OCR）技術(shù)，本文主要介紹了4種第三方庫，具有一定的參考價值，感興趣的可以了解一下2023-11-11
這篇文章主要為大家詳細(xì)介紹了Python3進(jìn)程和線程，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-03-03
這篇文章主要介紹了Python 包含漢字的文件讀寫之每行末尾加上特定字符的相關(guān)資料,需非常不錯，具有參考借鑒價值，要的朋友可以參考下2016-12-12
jupyter notebook 的工作空間設(shè)置操作
這篇文章主要介紹了jupyter notebook 的工作空間設(shè)置操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
這篇文章主要介紹了sklearn的predict_proba使用說明，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
本篇文章主要介紹了python爬蟲之xpath的基本使用詳解，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-04-04