最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

python中watchdog文件監(jiān)控與檢測(cè)上傳功能

 更新時(shí)間:2020年10月30日 09:56:11   作者:submarineas  
這篇文章主要介紹了python中watchdog文件監(jiān)控與檢測(cè)上傳功能,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下

引言

上一篇介紹完了觀察者模式的原理,本篇想就此再介紹一個(gè)小應(yīng)用,雖然我也就玩了一下午,是當(dāng)時(shí)看observer正好找到的,以及還有Django-observer,但Django很久沒(méi)用了,所以提下這個(gè)作為一個(gè)筆記。

watchdog介紹

Watchdog的中文的“看門狗”,有保護(hù)的意思。最早引入Watchdog是在單片機(jī)系統(tǒng)中,由于單片機(jī)的工作環(huán)境容易受到外界磁場(chǎng)的干擾,導(dǎo)致程序“跑飛”,造成整個(gè)系統(tǒng)無(wú)法正常工作,因此,引入了一個(gè)“看門狗”,對(duì)單片機(jī)的運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測(cè),針對(duì)運(yùn)行故障做一些保護(hù)處理,譬如讓系統(tǒng)重啟。這種Watchdog屬于硬件層面,必須有硬件電路的支持。

Linux也引入了Watchdog,在Linux內(nèi)核下,當(dāng)Watchdog啟動(dòng)后,便設(shè)定了一個(gè)定時(shí)器,如果在超時(shí)時(shí)間內(nèi)沒(méi)有對(duì)/dev/Watchdog進(jìn)行寫操作,則會(huì)導(dǎo)致系統(tǒng)重啟。通過(guò)定時(shí)器實(shí)現(xiàn)的Watchdog屬于軟件層面。

嗯,這樣的嘛。好像上面這段話沒(méi)啥用,連成為談資都不行。我也是直接百度第一篇復(fù)制一段當(dāng)做介紹,習(xí)慣使然。(手動(dòng)狗頭)

在python中文件監(jiān)控主要有兩個(gè)庫(kù),一個(gè)是pyinotify ( https://github.com/seb-m/pyinotify/wiki ),一個(gè)是watchdog(http://pythonhosted.org/watchdog/)。pyinotify依賴于Linux平臺(tái)的inotify,后者則對(duì)不同平臺(tái)的的事件都進(jìn)行了封裝。

watchdog使用

在python中可以直接通過(guò)pip安裝:

pip install watchdog -i https://pypi.tuna.tsinghua.edu.cn/simple

watchdog主要采用觀察者模型。主要有三個(gè)角色:observer,event_handler,被監(jiān)控的文件夾。三者原本是獨(dú)立的,主要通過(guò)observer.schedule函數(shù)將三者串起來(lái)。

事件類(event):

watchdog.events.FileSystemEvent(event_type, 
        src_path, 
        is_directory=False) 
  • event_type為事件類型,為moved、deleted、created或modified的其中之一
  • src_path為觸發(fā)該事件的文件或目錄路徑
  • is_directory為該事件是否由一個(gè)目錄觸發(fā)

watchdog能實(shí)現(xiàn)在不同平臺(tái)下都能兼容,并監(jiān)控相關(guān)事件,但是如果在Windows下,是有很多問(wèn)題的,具體的會(huì)在后面提出,那懂了事件類,我們就可以看看事件處理方法:

那現(xiàn)在有了處

def on_created(event):
 print(f"hey, {event.src_path} has been created!")

def on_deleted(event):
 print(f"Someone deleted {event.src_path}!")

def on_modified(event):
 print(f"hey buddy, {event.src_path} has been modified")

def on_moved(event):
 print(f"ok ok ok, someone moved {event.src_path} to {event.dest_path}")

理事件的函數(shù),就需要在主程序里創(chuàng)建一個(gè)監(jiān)聽(tīng)程序了:

path = "."
 go_recursively = True
 my_observer = Observer()
 my_observer.schedule(my_event_handler, path, recursive=True)

observer.schedule(event_handler, path, recursive=False)相當(dāng)于實(shí)例化監(jiān)聽(tīng)對(duì)象,監(jiān)控指定路徑path,該路徑觸發(fā)任何事件都會(huì)調(diào)用event_handler來(lái)處理,如果path是目錄,則recursive=True則會(huì)遞歸監(jiān)控該目錄的所有變化。每一次調(diào)用schedule()對(duì)一個(gè)路徑進(jìn)行監(jiān)控處理就叫做一個(gè)watch,schedule()方法會(huì)返回這個(gè)watch,接著可以對(duì)這個(gè)watch做其他操作,如為該watch增加多個(gè)event處理器等。

那了解到這里,就可以寫一個(gè)demo程序進(jìn)行測(cè)試了:

from watchdog.observers import Observer
from watchdog.events import *
import time

class FileEventHandler(FileSystemEventHandler):
 def __init__(self):
  FileSystemEventHandler.__init__(self)

 def on_moved(self, event):
  if event.is_directory:
   print("directory moved from {0} to {1}".format(event.src_path,event.dest_path))
  else:
   print("file moved from {0} to {1}".format(event.src_path,event.dest_path))

 def on_created(self, event):
  if event.is_directory:
   print("directory created:{0}".format(event.src_path))
  else:
   print("file created:{0}".format(event.src_path))

 def on_deleted(self, event):
  if event.is_directory:
   print("directory deleted:{0}".format(event.src_path))
  else:
   print("file deleted:{0}".format(event.src_path))

 def on_modified(self, event):
  if event.is_directory:
   print("directory modified:{0}".format(event.src_path))
  else:
   print("file modified:{0}".format(event.src_path))

if __name__ == "__main__":
 observer = Observer()
 event_handler = FileEventHandler()
 observer.schedule(event_handler,r"D:\code\dingshirenwu",True)
 observer.start()
 try:
  while True:
   time.sleep(1)
 except KeyboardInterrupt:
  observer.stop()
 observer.join()

代碼參考自python中文件變化監(jiān)控-watchdog

不過(guò)這里只是監(jiān)控了單個(gè),我們可以通過(guò)循環(huán)來(lái)監(jiān)控多個(gè)文件夾:

dirs = [r'D:\code\dingshirenwu', r'D:\code\tuiliu']
for dir in dirs:
 event_handler = FileEventHandler()
 observer.schedule(event_handler, dir, True)
observer.start()

到此為止,基本上已經(jīng)知道這個(gè)模塊到底怎么用了,但當(dāng)我準(zhǔn)備在事件里加一個(gè)上傳機(jī)制的時(shí)候,發(fā)現(xiàn)Windows下的一些問(wèn)題。Windows下watchdog并沒(méi)有權(quán)限去監(jiān)控文件是否完整。即我有一個(gè)大文件,2G的視頻即使是內(nèi)部百M(fèi)傳輸,也需要幾十秒的時(shí)間,但watchdog只能接收到文件創(chuàng)建的時(shí)間就立刻進(jìn)行了文件上傳,而不是同Linux并使用的inotify,似乎沒(méi)有什么好的辦法,我也只是能上傳一些比較小的如圖片等秒傳秒下的文件,下面為我的代碼:

import logging
import queue
import threading
import time
import watchdog.observers as observers
import watchdog.events as events
from ftplib import FTP

logger = logging.getLogger(__name__)

SENTINEL = None

def upload(f, remote_path, local_path):
 fp = open(local_path, "rb")
 buf_size = 1024
 f.storbinary("STOR {}".format(remote_path), fp, buf_size)
 fp.close()


class MyEventHandler(events.FileSystemEventHandler):
 def on_any_event(self, event):
  super(MyEventHandler, self).on_any_event(event)
  queue.put(event)
 def __init__(self, queue):
  self.queue = queue

def process(queue):
 while True:
  event = queue.get()
  logger.info(event)
  print(event.key)  # tuple
  ('modified', 'C:\\Users\\admin\\Desktop\\公司文件\\test\\GitHub\\isadb\\.idea', True)
  if (event.key)[0] == "created":
   upload(ftp, remote_path, event.src_path)


if __name__ == '__main__':
 logging.basicConfig(level=logging.DEBUG,
      format='[%(asctime)s %(threadName)s] %(message)s',
      datefmt='%H:%M:%S')
 ftp = FTP()
 ftp.connect("x.x.x.x", 21)  # 第一個(gè)參數(shù)可以是ftp服務(wù)器的ip或者域名,第二個(gè)參數(shù)為ftp服務(wù)器的連接端口,默認(rèn)為21
 ftp.login(username, password)  # 匿名登錄直接使用ftp.login()
 queue = queue.Queue()
 num_workers = 4
 pool = [threading.Thread(target=process, args=(queue,)) for i in range(num_workers)]
 for t in pool:
  t.daemon = True
  t.start()

 event_handler = MyEventHandler(queue)
 observer = observers.Observer()
 observer.schedule(
  event_handler,
  path=r'C:\Users\admin\Desktop\公司文件\test\GitHub\isadb',
  recursive=True)
 observer.start()
 try:
  while True:
   time.sleep(1)
 except KeyboardInterrupt:
  observer.stop()
 observer.join()

建立了一個(gè)工作線程池,而不是累積文件系統(tǒng)事件,該線程從一個(gè)公共隊(duì)列中獲取任務(wù)。上傳文件我是寫了一個(gè)類調(diào)用,但那個(gè)文件找不到了。。所以改用了函數(shù),這里會(huì)有問(wèn)題是:IOError: [Errno 13] Permission denied: u'D:\pycharm\test.mp4'

然后再Stack Overflow找到了一個(gè)解決方案:當(dāng)上傳一個(gè)大文件的時(shí)候,同時(shí)上傳一個(gè)空文本,記錄這個(gè)文件的大小,然后對(duì)這個(gè)文件進(jìn)行輪詢,只有當(dāng)該文件的大小不再發(fā)生變化時(shí),我們認(rèn)為這個(gè)文件已經(jīng)生成成功,這時(shí)再考慮上傳,不過(guò)我也就寫個(gè)demo,太麻煩了。。。如果有人有更好的方式,可以評(píng)論或者私信我。

到此這篇關(guān)于python中watchdog文件監(jiān)控與檢測(cè)上傳的文章就介紹到這了,更多相關(guān)python watchdog監(jiān)控文件內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Python每天必學(xué)之bytes字節(jié)

    Python每天必學(xué)之bytes字節(jié)

    Python每天必學(xué)之bytes字節(jié),針對(duì)Python中的bytes字節(jié)進(jìn)行學(xué)習(xí)理解,感興趣的小伙伴們可以參考一下
    2016-01-01
  • python如何使用split多字符分割字符串的方法

    python如何使用split多字符分割字符串的方法

    這篇文章主要給大家介紹了關(guān)于python如何使用split多字符分割字符串的相關(guān)資料,split()方法是一個(gè)非常強(qiáng)大的工具,可以幫助我們輕松地分割字符串,需要的朋友可以參考下
    2023-10-10
  • Keras之自定義損失(loss)函數(shù)用法說(shuō)明

    Keras之自定義損失(loss)函數(shù)用法說(shuō)明

    這篇文章主要介紹了Keras之自定義損失(loss)函數(shù)用法說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-06-06
  • 如何利用Matlab制作一款真正的拼圖小游戲

    如何利用Matlab制作一款真正的拼圖小游戲

    這篇文章主要給大家介紹了關(guān)于如何利用Matlab制作一款真正的拼圖小游戲的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2021-05-05
  • PyTorch中的拷貝與就地操作詳解

    PyTorch中的拷貝與就地操作詳解

    這篇文章主要給大家介紹了關(guān)于PyTorch中拷貝與就地操作的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-12-12
  • Python實(shí)現(xiàn)學(xué)生信息管理系統(tǒng)的示例代碼

    Python實(shí)現(xiàn)學(xué)生信息管理系統(tǒng)的示例代碼

    夏天是用來(lái)告別的季節(jié),因?yàn)楫厴I(yè)總在七月。那么七月之前的季節(jié)是用來(lái)干嘛的呢?當(dāng)然是用來(lái)做畢業(yè)設(shè)計(jì)的啦!本文為大家準(zhǔn)備了兩個(gè)版本的學(xué)生信息管理系統(tǒng),希望對(duì)大家有所幫助
    2023-02-02
  • 支持python的分布式計(jì)算框架Ray詳解

    支持python的分布式計(jì)算框架Ray詳解

    Ray是一種分布式執(zhí)行框架,便于大規(guī)模應(yīng)用程序和利用先進(jìn)的機(jī)器學(xué)習(xí)庫(kù),今天給大家分享支持python的分布式計(jì)算框架Ray詳解,感興趣的朋友一起看看吧
    2021-07-07
  • 用Python寫個(gè)新年賀卡生成器

    用Python寫個(gè)新年賀卡生成器

    大家好,本篇文章主要講的是用Python寫個(gè)新年賀卡生成器,感興趣的同學(xué)趕快來(lái)看一看吧,對(duì)你有幫助的話記得收藏一下
    2022-01-01
  • Python基礎(chǔ)類繼承重寫實(shí)現(xiàn)原理解析

    Python基礎(chǔ)類繼承重寫實(shí)現(xiàn)原理解析

    這篇文章主要介紹了Python基礎(chǔ)類繼承重寫實(shí)現(xiàn)原理解析,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-04-04
  • 學(xué)python安裝的軟件總結(jié)

    學(xué)python安裝的軟件總結(jié)

    在本篇文章里小編給大家整理了是關(guān)于學(xué)python安裝什么軟件的相關(guān)知識(shí)點(diǎn)內(nèi)容,有需要的朋友們學(xué)習(xí)下。
    2019-10-10

最新評(píng)論

耒阳市| 宕昌县| 泰和县| 罗山县| 湘阴县| 龙州县| 平武县| 阿拉善右旗| 牡丹江市| 灯塔市| 新蔡县| 肥西县| 滨州市| 丰镇市| 长治县| 梁河县| 东海县| 北碚区| 高清| 聊城市| 佛坪县| 锡林郭勒盟| 高台县| 惠水县| 维西| 河津市| 天等县| 江川县| 海伦市| 浮梁县| 东乡县| 丰顺县| 香港| 崇左市| 奎屯市| 车险| 张家界市| 安丘市| 金坛市| 句容市| 乌拉特后旗|