Python中經常使用的代碼片段
更新時間：2022年01月26日 10:48:02 作者：rs勿忘初心
大家好，本篇文章主要講的是Python中經常使用的代碼片段，感興趣的同學趕快來看一看吧，對你有幫助的話記得收藏一下
針對工作生活中基礎的功能和操作，梳理了下對應的幾個Python代碼片段，供參考：
日期生成
獲取過去 N 天的日期
import datetime
def get_nday_list(n):
before_n_days = []
# [::-1]控制日期排序
for i in range(1, n + 1)[::-1]:
before_n_days.append(str(datetime.date.today() - datetime.timedelta(days=i)))
return before_n_days
a = get_nday_list(30)
print(a)輸出：
['2021-12-26', '2021-12-27', '2021-12-28', '2021-12-29', '2021-12-30', '2021-12-31', '2022-01-01', '2022-01-02', '2022-01-03', '2022-01-04', '2022-01-05', '2022-01-06', '2022-01-07', '2022-01-08', '2022-01-09', '2022-01-10', '2022-01-11', '2022-01-12', '2022-01-13', '2022-01-14', '2022-01-15', '2022-01-16', '2022-01-17', '2022-01-18', '2022-01-19', '2022-01-20', '2022-01-21', '2022-01-22', '2022-01-23', '2022-01-24']
生成一段時間區(qū)間內的日期
import datetime
def create_assist_date(datestart = None,dateend = None):
# 創(chuàng)建日期輔助表
if datestart is None:
datestart = '2016-01-01'
if dateend is None:
dateend = datetime.datetime.now().strftime('%Y-%m-%d')
# 轉為日期格式
datestart=datetime.datetime.strptime(datestart,'%Y-%m-%d')
dateend=datetime.datetime.strptime(dateend,'%Y-%m-%d')
date_list = []
date_list.append(datestart.strftime('%Y-%m-%d'))
while datestart<dateend:
# 日期疊加一天
datestart+=datetime.timedelta(days=+1)
# 日期轉字符串存入列表
date_list.append(datestart.strftime('%Y-%m-%d'))
return date_list
d_list = create_assist_date(datestart='2021-12-27', dateend='2021-12-30')
print(d_list)輸出：
['2021-12-27', '2021-12-28', '2021-12-29', '2021-12-30']
保存數(shù)據(jù)到CSV
保存數(shù)據(jù)到 CSV 算是比較常見的操作了，下面代碼如果運行正確會生成"2022_data_2022-01-25.csv"文件。
import os
def save_data(data, date):
"""
:param data:
:param date:
:return:
"""
if not os.path.exists(r'2022_data_%s.csv' % date):
with open("2022_data_%s.csv" % date, "a+", encoding='utf-8') as f:
f.write("標題,熱度,時間,url\n")
for i in data:
title = i["title"]
extra = i["extra"]
time = i['time']
url = i["url"]
row = '{},{},{},{}'.format(title,extra,time,url)
f.write(row)
f.write('\n')
else:
with open("2022_data_%s.csv" % date, "a+", encoding='utf-8') as f:
for i in data:
title = i["title"]
extra = i["extra"]
time = i['time']
url = i["url"]
row = '{},{},{},{}'.format(title,extra,time,url)
f.write(row)
f.write('\n')
data = [{"title": "demo", "extra": "hello", "time": "1998-01-01", "url": "https://www.baidu.com/"}]
date = "2022-01-25"
save_data(data, date)requests 庫調用
據(jù)統(tǒng)計，requests 庫是 Python 家族里被引用的最多的第三方庫，足見其江湖地位之高大！
發(fā)送 GET 請求
import requests
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36',
'cookie': 'some_cookie'
}
response = requests.request("GET", url, headers=headers)發(fā)送 POST 請求
import requests
payload={}
files=[]
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36',
'cookie': 'some_cookie'
}
response = requests.request("POST", url, headers=headers, data=payload, files=files)Python 操作各種數(shù)據(jù)庫
操作 Redis
連接 Redis
import redis
def redis_conn_pool():
pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)
rd = redis.Redis(connection_pool=pool)
return rd寫入 Redis
from redis_conn import redis_conn_pool
rd = redis_conn_pool()
rd.set('test_data', 'mytest')操作 MongoDB
連接 MongoDB
from pymongo import MongoClient
conn = MongoClient("mongodb://%s:%s@ipaddress:49974/mydb" % ('username', 'password'))
db = conn.mydb
mongo_collection = db.mydata批量插入數(shù)據(jù)
res = requests.get(url, params=query).json() commentList = res['data']['commentList'] mongo_collection.insert_many(commentList)
操作 MySQL
連接 MySQL
import MySQLdb
# 打開數(shù)據(jù)庫連接
db = MySQLdb.connect("localhost", "testuser", "test123", "TESTDB", charset='utf8' )
# 使用cursor()方法獲取操作游標
cursor = db.cursor()執(zhí)行 SQL 語句
# 使用 execute 方法執(zhí)行 SQL 語句
cursor.execute("SELECT VERSION()")
# 使用 fetchone() 方法獲取一條數(shù)據(jù)
data = cursor.fetchone()
print "Database version : %s " % data
# 關閉數(shù)據(jù)庫連接
db.close()本地文件整理
整理文件涉及需求的比較多，這里分享的是將本地多個 CSV 文件整合成一個文件
import pandas as pd
import os
df_list = []
for i in os.listdir():
if "csv" in i:
day = i.split('.')[0].split('_')[-1]
df = pd.read_csv(i)
df['day'] = day
df_list.append(df)
df = pd.concat(df_list, axis=0)
df.to_csv("total.txt", index=0)多線程代碼
多線程也有很多實現(xiàn)方式，我們選擇自己最為熟悉順手的方式即可
import threading
import time
exitFlag = 0
class myThread (threading.Thread):
def __init__(self, threadID, name, delay):
threading.Thread.__init__(self)
self.threadID = threadID
self.name = name
self.delay = delay
def run(self):
print ("開始線程：" + self.name)
print_time(self.name, self.delay, 5)
print ("退出線程：" + self.name)
def print_time(threadName, delay, counter):
while counter:
if exitFlag:
threadName.exit()
time.sleep(delay)
print ("%s: %s" % (threadName, time.ctime(time.time())))
counter -= 1
# 創(chuàng)建新線程
thread1 = myThread(1, "Thread-1", 1)
thread2 = myThread(2, "Thread-2", 2)
# 開啟新線程
thread1.start()
thread2.start()
thread1.join()
thread2.join()
print ("退出主線程")異步編程代碼
異步爬取網站代碼示例：
import asyncio
import aiohttp
import aiofiles
async def get_html(session, url):
try:
async with session.get(url=url, timeout=8) as resp:
if not resp.status // 100 == 2:
print(resp.status)
print("爬取", url, "出現(xiàn)錯誤")
else:
resp.encoding = 'utf-8'
text = await resp.text()
return text
except Exception as e:
print("出現(xiàn)錯誤", e)
await get_html(session, url)使用異步請求之后，對應的文件保存也需要使用異步，即是一處異步，處處異步
async def download(title_list, content_list):
async with aiofiles.open('{}.txt'.format(title_list[0]), 'a',
encoding='utf-8') as f:
await f.write('{}'.format(str(content_list)))總結
到此這篇關于Python中經常使用的代碼片段的文章就介紹到這了,更多相關Python代碼片段內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
向Excel文件添加文檔屬性是專業(yè)地組織和管理電子表格數(shù)據(jù)的關鍵步驟,這些屬性,如標題、作者、主題和關鍵詞,增強了文件的元數(shù)據(jù),使得在大型數(shù)據(jù)庫或文件系統(tǒng)中跟蹤變得更加容易,本文將介紹如何使用Python高效地為Excel文件添加文檔屬性,需要的朋友可以參考下2024-05-05
這篇文章主要介紹了python遞歸函數(shù)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-04-04
這篇文章主要介紹了python小技巧——如何將變量保存在本地及讀取，幫助大家更好的理解和使用Java，感興趣的朋友可以了解下2020-11-11
Linux下使用python腳本執(zhí)行BCP導入導出方式
這篇文章主要介紹了Linux下使用python腳本執(zhí)行BCP導入導出方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-01-01
詳解pyenv下使用python matplotlib模塊的問題解決
這篇文章主要介紹了詳解pyenv下使用python matplotlib模塊的問題解決，非常具有實用價值，需要的朋友可以參考下2018-11-11
這篇文章主要介紹了Python3實現(xiàn)的簡單三級菜單功能,涉及Python用戶交互以及針對json格式數(shù)據(jù)的遍歷、讀取、判斷等相關操作技巧,需要的朋友可以參考下2019-03-03
python內置函數(shù)delattr()與dict()舉例詳解
這篇文章主要介紹了關于python內置函數(shù)delattr()與dict()的相關資料,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-08-08
這篇文章主要為大家詳細介紹了Linux下遠程連接Jupyter+pyspark部署教程，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-06-06
這篇文章主要介紹了讓 python 命令行也自動補全,需要的朋友可以參考下2014-11-11
OpenAI成功地訓練了一個能夠從文字標題生成圖像的網絡,它非常類似于GPT-3和圖像GPT,并產生驚人的結果,下面這篇文章主要給大家介紹了關于python使用openai生成圖像的超詳細教程,需要的朋友可以參考下2023-03-03