快捷導(dǎo)航

七個非常實用的Python工具包總結(jié)

更新時間：2021年06月15日 08:54:02 作者：Python學(xué)習(xí)與數(shù)據(jù)挖掘

Python 擁有海量的包,無論是普通任務(wù)還是復(fù)雜任務(wù),我們經(jīng)常在應(yīng)用程序中使用大量的工具包.本文我將討論一些常被低估的數(shù)據(jù)科學(xué)包,包括：數(shù)據(jù)清理、應(yīng)用程序開發(fā)和調(diào)試方面,需要的朋友可以參考下

一、Faker

生產(chǎn)環(huán)境通常具有實時數(shù)據(jù)。把它放到測試環(huán)境中并不容易。我們必須對從生產(chǎn)到測試環(huán)境的數(shù)據(jù)進行標(biāo)記化，這通常會將數(shù)據(jù)轉(zhuǎn)換為亂碼。

此外，在欺詐行業(yè)，我們需要找出欺詐身份。為了生成假PII（個人可識別信息），我使用了一個名為Faker的包，這是一個很酷的軟件包，可以讓你創(chuàng)建一個帶有地址、名字等的假PII。

以上是一些虛假數(shù)據(jù)的例子。帶有 GAN 假圖像的假數(shù)據(jù)可以給出一個真實的人。

二、Pywebio

我們知道 Flask 適用于 Python 端的表單、UI 和 restapi。然而，如果想要一個簡單的表單，F(xiàn)lask就不太適用了。通常用 Pywebio 來創(chuàng)建，它會創(chuàng)建了一個簡單、干凈的UI。所有的代碼都是用普通的python編寫的，并且我們不用額外學(xué)新東西！

# A simple script to calculate BMI
from pywebio.input import input, FLOAT
from pywebio.output import put_text

def bmi():
    height = input("Input your height(cm)：", type=FLOAT)
    weight = input("Input your weight(kg)：", type=FLOAT)

    BMI = weight / (height / 100) ** 2

    top_status = [(16, 'Severely underweight'), (18.5, 'Underweight'),
                  (25, 'Normal'), (30, 'Overweight'),
                  (35, 'Moderately obese'), (float('inf'), 'Severely obese')]

    for top, status in top_status:
        if BMI <= top:
            put_text('Your BMI: %.1f. Category: %s' % (BMI, status))
            break

if __name__ == '__main__':
    bmi()

在幾秒鐘內(nèi)，它轉(zhuǎn)換為一個前端 UI 網(wǎng)頁。我們還可以編寫一些會話并處理輸入和輸出，查看他們的文檔以獲取詳細信息。

三、Airflow

Airflow 是我最喜歡的軟件包之一，它是一種工作流管理工具，在 MLOPS 中經(jīng)常被低估和較少使用，它還可以用于特定的執(zhí)行間隔、重新訓(xùn)練模型、批處理、網(wǎng)站抓取、投資組合跟蹤、自定義新聞提要等。

在工作流程方面，選項是無限的，它還可以連接到特定服務(wù)的云服務(wù)商。代碼可以用 python 寫，在 UI 上可以看到執(zhí)行，非常棒。工作流也可以按特定時間間隔進行安排。

四、Loguru

Logger 是我討厭但又不得不使用的工具，它是調(diào)試應(yīng)用程序的最佳方法之一。但是，logger 里面的日志太多了，讓人比較煩。而 Loguru 在某種程度上就比較友好，它雖不能解決所有挑戰(zhàn)，但是它很容易添加日志語句并為其添加更多調(diào)試。

from loguru import logger

logger.debug("That's it, beautiful and simple logging!")

它還有助于拆分文件并執(zhí)行清理，因此我們不需要查看所有歷史日志。

logger.add("file_1.log", rotation="500 MB")    # Automatically rotate too big file
logger.add("file_2.log", rotation="12:00")     # New file is created each day at noon
logger.add("file_3.log", rotation="1 week")    # Once the file is too old, it's rotated

logger.add("file_X.log", retention="10 days")  # Cleanup after some time

logger.add("file_Y.log", compression="zip")    # Save some loved space

你還可以使用參數(shù) backtrace 來回溯執(zhí)行。

簡而言之，在生產(chǎn)環(huán)境中使用這個包來調(diào)試應(yīng)用程序或 AI 模型訓(xùn)練是值得的。