python如何查找圖片按鈕的坐標(biāo)位置
更新時(shí)間：2022年11月29日 17:26:02 作者：孤芳不自賞
這篇文章主要介紹了python如何查找圖片按鈕的坐標(biāo)位置，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
python查找圖片按鈕的坐標(biāo)位置
因?yàn)闃I(yè)務(wù)需求，了解到一些python自動(dòng)化的內(nèi)容，其中有類(lèi)似于airtest截圖點(diǎn)擊的東西。
本來(lái)是想使用pyautogui來(lái)實(shí)現(xiàn)獲取圖片坐標(biāo)的功能，但是pyautogui對(duì)于小尺寸的圖片識(shí)別不準(zhǔn)確，或者說(shuō)是識(shí)別不到，一番查找之下，發(fā)現(xiàn)另一個(gè)工具，做了封裝如下。
1，使用pyaut
x, y=pyautogui.locateCenterOnScreen("img_path")
# 如果查找到值，會(huì)返回坐標(biāo)的元組，找不到返回None。上面的寫(xiě)法會(huì)報(bào)錯(cuò)
print(x, y)
pyautogui.click(x,y)
# 點(diǎn)擊操作
2，使用aircv
def matchImg(imgobj,confidence=0.7):
"""
imgobj:待查找的圖片
confidence:最低相似度
"""
# 截取桌面操作，寫(xiě)入內(nèi)存中，不必每次都保存實(shí)體圖片
screenshotIm = screenshot(region=None)
desktop = np.array(screenshotIm)
imobj = ac.imread(imgobj)
return ac.find_template(desktop ,imobj,confidence)
if __name__ == "__main__":
imgobj = 'img_path'
print(matchImg(imgsrc,imgobj,confidencevalue))
返回值包含桌面大小，中心點(diǎn)，和待查詢(xún)圖片的四角坐標(biāo)。否則為None
讀取圖片區(qū)域坐標(biāo)的方法記錄
首先是導(dǎo)入需要使用的庫(kù)：
import cv2 import time import win32gui, win32ui, win32con import os
1、然后是獲取需要的圖片或者無(wú)需獲取，已有圖片。（可通過(guò)直接截取圖片）
'''1、窗口截圖，直接獲取當(dāng)前最前面的全屏幕截圖'''
def window_capture(filename,w=1920,h=1080):
hwnd = 0 # 窗口的編號(hào)，0號(hào)表示當(dāng)前活躍窗口
# 根據(jù)窗口句柄獲取窗口的設(shè)備上下文DC（Divice Context）
hwndDC = win32gui.GetWindowDC(hwnd)
# 根據(jù)窗口的DC獲取mfcDC
mfcDC = win32ui.CreateDCFromHandle(hwndDC)
# mfcDC創(chuàng)建可兼容的DC
saveDC = mfcDC.CreateCompatibleDC()
# 創(chuàng)建bigmap準(zhǔn)備保存圖片
saveBitMap = win32ui.CreateBitmap()
# 為bitmap開(kāi)辟空間
saveBitMap.CreateCompatibleBitmap(mfcDC, w, h)
# 高度saveDC，將截圖保存到saveBitmap中
saveDC.SelectObject(saveBitMap)
# 截取從左上角（0，0）長(zhǎng)寬為（w，h）的圖片
saveDC.BitBlt((0, 0), (w, h), mfcDC, (0, 0), win32con.SRCCOPY)
saveBitMap.SaveBitmapFile(saveDC, filename)
return True2、將獲取的圖片路徑，傳遞給識(shí)別圖片坐標(biāo)的函數(shù)。
g_rectangle = [0, 0, 0, 0] #設(shè)置初始值坐標(biāo)
clicked = False
g_startPoint = [0, 0] #設(shè)置初始值獲取的坐標(biāo)
def startRoi(path):
cv2.namedWindow("IMG_Show", 0) # 創(chuàng)建畫(huà)布
cv2.resizeWindow("IMG_Show", 1920, 1080) # 設(shè)置長(zhǎng)和寬
cv2.setMouseCallback("IMG_Show", onMouse) # 連接鼠標(biāo)
# 按"Esc"退出
print("如果想要退出窗口，點(diǎn)擊按鈕 ESC,退出窗口...")
while cv2.waitKey(30) != 27: #監(jiān)聽(tīng)事件
global frame
frame = cv2.imread(path,cv2.IMREAD_COLOR) #讀取圖片數(shù)據(jù)
# 畫(huà)矩形
'''
由（x_min，x_max）組成，為繪制的邊框的左上角；
(g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]):設(shè)置為繪制的邊框的左上角和繪制的邊框的右下角
(0, 0, 255):指定邊框的顏色，由（B,G,R）組成，當(dāng)為（255,0，0）時(shí)為綠色，可以自由設(shè)定；
1:線(xiàn)條的粗細(xì)值，為正值時(shí)代表線(xiàn)條的粗細(xì)（以像素為單位）
'''
cv2.rectangle(frame, (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]), (0, 0, 255), 2)
cv2.imshow("IMG_Show", frame)
# cv2.destroyWindow("IMG_Show")
'''
event:當(dāng)前發(fā)生的鼠標(biāo)事件類(lèi)型
x和y:發(fā)生鼠標(biāo)事件時(shí)鼠標(biāo)在圖像位置的x，y坐標(biāo)
flags: cv2_EVENT_FLAG_* (MouseEventFlags)類(lèi)型的變量
param: 自定義的傳遞給 setMouseCallback 函數(shù)調(diào)用的參數(shù)
'''
# x和y： 發(fā)生鼠標(biāo)事件時(shí)鼠標(biāo)在圖像位置的x，y坐標(biāo)
def onMouse(event, x, y, flags, param):
global clicked
global g_rectangle
global g_startPoint
if event == cv2.EVENT_MOUSEMOVE: # 滑動(dòng)
if clicked == True:
#當(dāng)鼠標(biāo)點(diǎn)擊時(shí)，打印一下信息
g_rectangle[0] = g_startPoint[0]
g_rectangle[1] = g_startPoint[1]
#實(shí)時(shí)獲取，對(duì)應(yīng)變化后的x，y坐標(biāo)
g_rectangle[2] = x
g_rectangle[3] = y
print("坐標(biāo):%s" % g_rectangle)
# 左鍵按下事件
if event == cv2.EVENT_LBUTTONDOWN: # 左鍵點(diǎn)擊
#獲取鼠標(biāo)第一時(shí)間點(diǎn)擊的坐標(biāo)
g_startPoint[0] = x
g_startPoint[1] = y
clicked = True
# 左鍵彈起事件
if event == cv2.EVENT_LBUTTONUP: # 左鍵放開(kāi)
print("====================選中框的坐標(biāo)：===========================")
print("矩形框左上角坐標(biāo)：")
print(g_rectangle[0], g_rectangle[1])
print("矩形框右下角坐標(biāo)：")
print(g_rectangle[2], g_rectangle[3])
print("矩形框?qū)挾龋?)
print(g_rectangle[2]-g_rectangle[0])
print("矩形框高度：")
print(g_rectangle[3]-g_rectangle[1])
clicked = False3、通過(guò)畫(huà)布顯示，在上面可以進(jìn)行畫(huà)框 ，自動(dòng)識(shí)別出圖片區(qū)域的坐標(biāo)。（如下圖）
4、全部代碼展示：
'''
讀取圖片的坐標(biāo)
'''
import cv2
import time
import win32gui, win32ui, win32con
import os
'''1、窗口截圖'''
def window_capture(filename,w=1920,h=1080):
hwnd = 0 # 窗口的編號(hào)，0號(hào)表示當(dāng)前活躍窗口
# 根據(jù)窗口句柄獲取窗口的設(shè)備上下文DC（Divice Context）
hwndDC = win32gui.GetWindowDC(hwnd)
# 根據(jù)窗口的DC獲取mfcDC
mfcDC = win32ui.CreateDCFromHandle(hwndDC)
# mfcDC創(chuàng)建可兼容的DC
saveDC = mfcDC.CreateCompatibleDC()
# 創(chuàng)建bigmap準(zhǔn)備保存圖片
saveBitMap = win32ui.CreateBitmap()
# 為bitmap開(kāi)辟空間
saveBitMap.CreateCompatibleBitmap(mfcDC, w, h)
# 高度saveDC，將截圖保存到saveBitmap中
saveDC.SelectObject(saveBitMap)
# 截取從左上角（0，0）長(zhǎng)寬為（w，h）的圖片
saveDC.BitBlt((0, 0), (w, h), mfcDC, (0, 0), win32con.SRCCOPY)
saveBitMap.SaveBitmapFile(saveDC, filename)
return True
g_rectangle = [0, 0, 0, 0] #設(shè)置初始值坐標(biāo)
clicked = False
g_startPoint = [0, 0]
def startRoi(path):
cv2.namedWindow("IMG_Show", 0) # 創(chuàng)建畫(huà)布
cv2.resizeWindow("IMG_Show", 1920, 1080) # 設(shè)置長(zhǎng)和寬
cv2.setMouseCallback("IMG_Show", onMouse) # 連接鼠標(biāo)
# 按"Esc"退出
print("如果想要退出窗口，點(diǎn)擊按鈕 ESC,退出窗口...")
while cv2.waitKey(30) != 27: #監(jiān)聽(tīng)事件
global frame
frame = cv2.imread(path,cv2.IMREAD_COLOR) #讀取圖片數(shù)據(jù)
# 畫(huà)矩形
'''
由（x_min，x_max）組成，為繪制的邊框的左上角；
(g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]):設(shè)置為繪制的邊框的左上角和繪制的邊框的右下角
(0, 0, 255):指定邊框的顏色，由（B,G,R）組成，當(dāng)為（255,0，0）時(shí)為綠色，可以自由設(shè)定；
1:線(xiàn)條的粗細(xì)值，為正值時(shí)代表線(xiàn)條的粗細(xì)（以像素為單位）
'''
cv2.rectangle(frame, (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]), (0, 0, 255), 2)
cv2.imshow("IMG_Show", frame)
# cv2.destroyWindow("IMG_Show")
'''
event:當(dāng)前發(fā)生的鼠標(biāo)事件類(lèi)型
x和y:發(fā)生鼠標(biāo)事件時(shí)鼠標(biāo)在圖像位置的x，y坐標(biāo)
flags: cv2_EVENT_FLAG_* (MouseEventFlags)類(lèi)型的變量
param: 自定義的傳遞給 setMouseCallback 函數(shù)調(diào)用的參數(shù)
'''
# x和y： 發(fā)生鼠標(biāo)事件時(shí)鼠標(biāo)在圖像位置的x，y坐標(biāo)
def onMouse(event, x, y, flags, param):
global clicked
global g_rectangle
global g_startPoint
if event == cv2.EVENT_MOUSEMOVE: # 滑動(dòng)
if clicked == True:
#當(dāng)鼠標(biāo)點(diǎn)擊時(shí)，打印一下信息
g_rectangle[0] = g_startPoint[0]
g_rectangle[1] = g_startPoint[1]
#實(shí)時(shí)獲取，對(duì)應(yīng)變化后的x，y坐標(biāo)
g_rectangle[2] = x
g_rectangle[3] = y
print("坐標(biāo):%s" % g_rectangle)
# 左鍵按下事件
if event == cv2.EVENT_LBUTTONDOWN: # 左鍵點(diǎn)擊
#獲取鼠標(biāo)第一時(shí)間點(diǎn)擊的坐標(biāo)
g_startPoint[0] = x
g_startPoint[1] = y
clicked = True
# 左鍵彈起事件
if event == cv2.EVENT_LBUTTONUP: # 左鍵放開(kāi)
print("====================選中框的坐標(biāo)：===========================")
print("矩形框左上角坐標(biāo)：")
print(g_rectangle[0], g_rectangle[1])
print("矩形框右下角坐標(biāo)：")
print(g_rectangle[2], g_rectangle[3])
print("矩形框?qū)挾龋?)
print(g_rectangle[2]-g_rectangle[0])
print("矩形框高度：")
print(g_rectangle[3]-g_rectangle[1])
clicked = False
if __name__ == '__main__':
path = r"./save_img/jietu.jpg"
if not os.path.isdir:
os.mkdir(path)
ret = window_capture(filename=path)
time.sleep(0.2)
if ret == True:
startRoi(path)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了教你使用Python提取視頻中的美女圖片,使用?Python?寫(xiě)一個(gè)逐幀無(wú)損保存視頻畫(huà)面的小腳本，大概分為三個(gè)步驟，詳細(xì)過(guò)程跟隨小編一起看看吧2022-04-04
python的scipy.stats模塊中正態(tài)分布常用函數(shù)總結(jié)
在本篇內(nèi)容里小編給大家整理的是一篇關(guān)于python的scipy.stats模塊中正態(tài)分布常用函數(shù)總結(jié)內(nèi)容，有興趣的朋友們可以學(xué)習(xí)參考下。2021-02-02
Sentry的安裝、配置、使用教程(Sentry日志手機(jī)系統(tǒng))
Sentry?是一個(gè)實(shí)時(shí)事件日志記錄和聚合平臺(tái)，由于ExceptionLess官方提供的客戶(hù)端只有.Net/.NetCore平臺(tái)和js的，本文繼續(xù)介紹另一個(gè)日志收集系統(tǒng)Sentry，感興趣的朋友一起看看吧2022-07-07
html網(wǎng)頁(yè)調(diào)用后端python代碼的方法實(shí)例
html頁(yè)面中確實(shí)能夠調(diào)用python程序,不過(guò)只能調(diào)“一點(diǎn)點(diǎn)”,下面這篇文章主要給大家介紹了關(guān)于html網(wǎng)頁(yè)調(diào)用后端python代碼的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-01-01
Python數(shù)據(jù)分析之matplotlib繪圖詳解
這篇文章主要為大家詳細(xì)介紹了Python數(shù)據(jù)分析之如何利用matplotlib進(jìn)行繪圖，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以了解一下2022-09-09
python ChainMap 合并字典的實(shí)現(xiàn)步驟
這篇文章主要介紹了python ChainMap 合并字典的實(shí)現(xiàn)步驟，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
Python數(shù)據(jù)分析?Pandas?Series對(duì)象操作
這篇文章主要介紹了Python數(shù)據(jù)分析之Pandas?Series對(duì)象,文章基于python的相關(guān)資料展開(kāi)詳細(xì)內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-05-05
詳解python使用Nginx和uWSGI來(lái)運(yùn)行Python應(yīng)用
這篇文章主要介紹了詳解python使用Nginx和uWSGI來(lái)運(yùn)行Python應(yīng)用，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-01-01
一百行python代碼將圖片轉(zhuǎn)成字符畫(huà)
這篇文章主要為大家詳細(xì)介紹了一百行python代碼將圖片轉(zhuǎn)成字符畫(huà) ，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-11-11
對(duì)于Python中線(xiàn)程問(wèn)題的簡(jiǎn)單講解
這篇文章主要介紹了對(duì)于Python中線(xiàn)程問(wèn)題的簡(jiǎn)單講解,線(xiàn)程一直是Python編程當(dāng)中的熱點(diǎn)問(wèn)題,而本文沒(méi)有涉及GIL線(xiàn)程鎖方面的內(nèi)容,需要的朋友可以參考下2015-04-04