最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python解決爬蟲程序卡死問題

 更新時間:2022年05月18日 16:24:47   作者:??夢想橡皮擦????  
這篇文章主要介紹了Python解決爬蟲程序卡死問題,文章圍繞主題展開詳細(xì)內(nèi)容介紹,具有一定的參考價值,需要的小伙伴可以參考一下

前言:

之前的文章我們已經(jīng)開啟了爬蟲程序的exe之旅,但是我們最終實現(xiàn)的程序存在一個非常大的問題,當(dāng)進行網(wǎng)絡(luò)請求的時候,程序卡死,直到數(shù)據(jù)請求回來之后,程序才會從假死狀態(tài)解脫出來,今天這篇博客核心將這個問題解決掉。

導(dǎo)致該問題產(chǎn)生的原因是GUI程序在執(zhí)行高IO操作的時候很容易出現(xiàn)假死和無響應(yīng)的狀態(tài),通用解決辦法就是多線程。

如果想擴展開本知識點的學(xué)習(xí),可以在搜索引擎搜索 tkinter假死,未響應(yīng)等關(guān)鍵字即可

簡單粗暴解決問題

找到上節(jié)課需要修改的代碼部分 :

 修改成如下代碼,立馬解決問題:

def thread_down(func, *args):
    # 創(chuàng)建線程
    t = threading.Thread(target=func, args=args)
    t.setDaemon(True)
    # 啟動
    t.start()
# 創(chuàng)建按鈕
btn = tk.Button(win,text = '分析下載', command = lambda :thread_down(down_img))

當(dāng)然記得在頭部導(dǎo)入線程模塊:

import threading

對于咱們常寫爬蟲的Coder來說,多線程就不用過多的解釋了,非常容易理解,注意下t.setDaemon(True)

通過 t.setDaemon(True) 將子線程設(shè)置為守護進程(默認(rèn)False),主線程結(jié)束后,守護子線程隨之中止。

以上是最簡單的解決辦法了,順著這個思路慢慢的修改你的程序即可

增加一點點難度的解決方案

該方案假設(shè)你的爬蟲比較復(fù)雜一些,用的是類去編寫的,那么增加一個類文件即可,該類繼承 threading.Thread 類

class MyThread(threading.Thread):
    def __init__(self, func, *args):
        super().__init__()
        self.func = func
        self.args = args
        self.setDaemon(True)
        self.start() # 構(gòu)造方法中啟動線程
    def run(self):
        self.func(*self.args)
# 創(chuàng)建按鈕
btn = tk.Button(win,text = '分析下載', command = lambda :MyThread(down_img))

上述解決辦法也比較簡單,重點依舊是將I/O耗時操作放置到一個新的線程中去

我們重點注意在上述的代碼中tk.Button(win,text = '分析下載', command = lambda :MyThread(down_img))中我們給command綁定值的時候用到的lambda函數(shù)

lambda這個大家都知道是匿名函數(shù),在這里的用法注意是tk要求的。

他表示 傳參數(shù)Button綁定事件,文檔中大概意思如下:

我們使用Button傳遞數(shù)值時,需要用:
lambda: 功能函數(shù)(var1, var2, ……)

所以大家在使用的時候,注意該問題哦~~

我們繼續(xù)給爬蟲程序加點料

上面已經(jīng)解決了一個小問題,這些當(dāng)然是不夠的,我們的程序豈止于此,接下來,我們每次訪問頁面的時候,網(wǎng)頁源碼的圖片規(guī)則肯定是不能確定的,所以用戶可以自定義正則表達式去匹配數(shù)據(jù),就是我們接下來改進的方向啦~

先把程序窗口擴大一些

# 窗體大小設(shè)置
width = 800
height = 600

增加一個文本框和一個多行輸入框:

lbtip = tk.Label(win, text='請輸入正則表達式:')
# 添加到窗口中
lbtip.grid(row=1,column=3,pady=20)
# 創(chuàng)建一個多行文本框 - 用于輸入正則表達式
t1 = tk.Text(win, width=40,height=20)
# 添加到窗口中
t1.grid(row=2,column=3,padx=20,columnspan=3)

看看布局,細(xì)節(jié)可以在調(diào)整一下:

 獲取正則表達式輸入框數(shù)據(jù):

這個地方一個小知識點需要補充下,在tkiner中有兩種文本框,單行和多行,對于里面內(nèi)容的獲取方式也不同

#get()方法獲取Entry 文本框的內(nèi)容:
txt = entry.get()
#get()方法獲取Text 文本框的內(nèi)容:
txt = text.get("0.0", "end")

Text.get(start, end) 的用法:

Text.get("0.0", "end") 解析: 第一個參數(shù)‘0.0’是指從第0行第0列開始讀?。?lsquo;0.3’表示從第0行第3列開始讀?。诙€參數(shù)end表示最后一個字符

寫完測試下:

測試完畢:

尾聲

tkiner其實寫起來慢慢調(diào)整還是蠻有意思的,可以用來開發(fā)一些不錯的小工具

測試連接 http://baijiahao.baidu.com/s?id=1667856639211368322 測試正則 <img class="large" data-loadfunc=0 src="(.*?)"

到此這篇關(guān)于Python解決爬蟲程序卡死問題的文章就介紹到這了,更多相關(guān)Python卡死問題內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Python2.7.10以上pip更新及其他包的安裝教程

    Python2.7.10以上pip更新及其他包的安裝教程

    今天小編就為大家分享一篇Python2.7.10以上pip更新及其他包的安裝教程,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-06-06
  • Python學(xué)習(xí)筆記之Django創(chuàng)建第一個數(shù)據(jù)庫模型的方法

    Python學(xué)習(xí)筆記之Django創(chuàng)建第一個數(shù)據(jù)庫模型的方法

    今天小編就為大家分享一篇Python學(xué)習(xí)筆記之Django創(chuàng)建第一個數(shù)據(jù)庫模型的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-08-08
  • python配置虛擬環(huán)境步驟

    python配置虛擬環(huán)境步驟

    大家好,本篇文章主要講的是python配置虛擬環(huán)境步驟,感興趣的同學(xué)趕快來看一看,對你有幫助的話記得收藏一下,方便下次瀏覽
    2021-12-12
  • Python應(yīng)用領(lǐng)域和就業(yè)形勢分析總結(jié)

    Python應(yīng)用領(lǐng)域和就業(yè)形勢分析總結(jié)

    在本篇文章總我們給大家整理了關(guān)于Python應(yīng)用領(lǐng)域和就業(yè)形勢分析以及圖文介紹,需要的朋友們可以參考下。
    2019-05-05
  • python3 http提交json參數(shù)并獲取返回值的方法

    python3 http提交json參數(shù)并獲取返回值的方法

    今天小編就為大家分享一篇python3 http提交json參數(shù)并獲取返回值的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-12-12
  • Python?并行加速技巧分享

    Python?并行加速技巧分享

    這篇文章主要介紹了Python?并行加速技巧分享,文章圍繞文章主題展開詳細(xì)的內(nèi)容介紹,具有一定的參考價值,需要的小伙伴可以參考一下
    2022-05-05
  • python pandas分組聚合詳細(xì)

    python pandas分組聚合詳細(xì)

    分組聚合是數(shù)據(jù)處理中常見的場景,在pandas中用groupby方法實現(xiàn)分組操作,用agg方法實現(xiàn)聚合操作,在這篇文章里有主要介紹,感興趣的朋友請參考下文
    2021-09-09
  • Pytorch之卷積層的使用詳解

    Pytorch之卷積層的使用詳解

    今天小編就為大家分享一篇Pytorch之卷積層的使用詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-12-12
  • Python 抓取數(shù)據(jù)存儲到Redis中的操作

    Python 抓取數(shù)據(jù)存儲到Redis中的操作

    這篇文章主要介紹了Python 抓取數(shù)據(jù)存儲到Redis中的操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-07-07
  • Django如何批量創(chuàng)建Model

    Django如何批量創(chuàng)建Model

    將測試數(shù)據(jù)全部敲入數(shù)據(jù)庫非常繁瑣,這篇文章主要介紹了Django如何批量創(chuàng)建Model,幫助大家快速錄入數(shù)據(jù),感興趣的朋友可以了解下
    2020-09-09

最新評論

延安市| 连平县| 兴海县| 沽源县| 延寿县| 孟村| 宁津县| 罗江县| 团风县| 涞源县| 漯河市| 东乡| 青田县| 岑溪市| 特克斯县| 民丰县| 南丰县| 武陟县| 京山县| 宝鸡市| 城市| 淮安市| 阿城市| 黑龙江省| 宁阳县| 邵东县| 石渠县| 化隆| 灵寿县| 宜兰市| 防城港市| 会同县| 濉溪县| 双柏县| 开江县| 百色市| 上蔡县| 安庆市| 台中县| 治县。| 分宜县|