基于Python+OpenCV實現(xiàn)自動掃雷功能

更新時間：2023年12月05日 09:22:32 作者：吃貓貓的魚干

相信許多人很早就知道有掃雷這么一款經(jīng)典的游（顯卡測試）戲（軟件）,掃雷作為一款在Windows9x時代就已經(jīng)誕生的經(jīng)典游戲,從過去到現(xiàn)在依然都有著它獨特的魅力,所以本文小編給大家介紹了如何使用Python+OpenCV實現(xiàn)自動掃雷效果,感興趣的朋友可以參考下

相信許多人很早就知道有掃雷這么一款經(jīng)典的游（顯卡測試）戲（軟件），更是有不少人曾聽說過中國雷圣，也是中國掃雷第一、世界綜合排名第二的郭蔚嘉的頂頂大名。掃雷作為一款在Windows9x時代就已經(jīng)誕生的經(jīng)典游戲，從過去到現(xiàn)在依然都有著它獨特的魅力：快節(jié)奏高精準(zhǔn)的鼠標(biāo)操作要求、快速的反應(yīng)能力、刷新紀(jì)錄的快感，這些都是掃雷給雷友們帶來的、只屬于掃雷的獨一無二的興奮點。

準(zhǔn)備

準(zhǔn)備動手制作一套掃雷自動化軟件之前，你需要準(zhǔn)備如下一些工具/軟件/環(huán)境

- 開發(fā)環(huán)境

Python3 環(huán)境 - 推薦3.6或者以上 [更加推薦Anaconda3，以下很多依賴庫無需安裝]
numpy依賴庫 [如有Anaconda則無需安裝]
PIL依賴庫 [如有Anaconda則無需安裝]
opencv-python
win32gui、win32api依賴庫
支持Python的IDE [可選，如果你能忍受用文本編輯器寫程序也可以]

- 掃雷軟件

· Minesweeper Arbiter（必須使用MS-Arbiter來進(jìn)行掃雷！）

好啦，那么我們的準(zhǔn)備工作已經(jīng)全部完成了！讓我們開始吧~

實現(xiàn)思路

在去做一件事情之前最重要的是什么？是將要做的這件事情在心中搭建一個步驟框架。只有這樣，才能保證在去做這件事的過程中，盡可能的做到深思熟慮，使得最終有個好的結(jié)果。我們寫程序也要盡可能做到在正式開始開發(fā)之前，在心中有個大致的思路。

對于本項目而言，大致的開發(fā)過程是這樣的：

完成窗體內(nèi)容截取部分
完成雷塊分割部分
完成雷塊類型識別部分
完成掃雷算法

好啦，既然我們有了個思路，那就擼起袖子大力干！

窗體截取

其實對于本項目而言，窗體截取是一個邏輯上簡單，實現(xiàn)起來卻相當(dāng)麻煩的部分，而且還是必不可少的部分。我們通過Spy++得到了以下兩點信息：

class\_name = "TMain"
title\_name = "Minesweeper Arbiter "

ms_arbiter.exe的主窗體類別為"TMain"
ms_arbiter.exe的主窗體名稱為"Minesweeper Arbiter "

注意到了么？主窗體的名稱后面有個空格。正是這個空格讓筆者困擾了一會兒，只有加上這個空格，win32gui才能夠正常的獲取到窗體的句柄。

本項目采用了win32gui來獲取窗體的位置信息，具體代碼如下：

hwnd = win32gui.FindWindow(class\_name, title\_name)
if hwnd:
left, top, right, bottom = win32gui.GetWindowRect(hwnd)

通過以上代碼，我們得到了窗體相對于整塊屏幕的位置。之后我們需要通過PIL來進(jìn)行掃雷界面的棋盤截取。

我們需要先導(dǎo)入PIL庫

from PIL import ImageGrab

然后進(jìn)行具體的操作。

left += 15
top += 101
right -= 15
bottom -= 43
 
 
rect = (left, top, right, bottom)
img = ImageGrab.grab().crop(rect)

聰明的你肯定一眼就發(fā)現(xiàn)了那些奇奇怪怪的Magic Numbers，沒錯，這的確是Magic Numbers，是我們通過一點點細(xì)微調(diào)節(jié)得到的整個棋盤相對于窗體的位置。

注意：這些數(shù)據(jù)僅在Windows10下測試通過，如果在別的Windows系統(tǒng)下，不保證相對位置的正確性，因為老版本的系統(tǒng)可能有不同寬度的窗體邊框。

橙色的區(qū)域是我們所需要的

好啦，棋盤的圖像我們有了，下一步就是對各個雷塊進(jìn)行圖像分割了~

雷塊分割

在進(jìn)行雷塊分割之前，我們事先需要了解雷塊的尺寸以及它的邊框大小。經(jīng)過筆者的測量，在ms_arbiter下，每一個雷塊的尺寸為16px*16px。

知道了雷塊的尺寸，我們就可以進(jìn)行每一個雷塊的裁剪了。首先我們需要知道在橫和豎兩個方向上雷塊的數(shù)量。

block\_width, block\_height = 16, 16
  blocks\_x = int((right - left) / block\_width)
  blocks\_y = int((bottom - top) / block\_height)

之后，我們建立一個二維數(shù)組用于存儲每一個雷塊的圖像，并且進(jìn)行圖像分割，保存在之前建立的數(shù)組中。

def crop\_block(hole\_img, x, y):
        x1, y1 = x \* block\_width, y \* block\_height
        x2, y2 = x1 + block\_width, y1 + block\_height
return hole\_img.crop((x1, y1, x2, y2))
 
 
blocks\_img = \[\[0 for i in range(blocks\_y)\] for i in range(blocks\_x)\]
 
 
for y in range(blocks\_y):
for x in range(blocks\_x):
        blocks\_img\[x\]\[y\] = crop\_block(img, x, y)

將整個圖像獲取、分割的部分封裝成一個庫，隨時調(diào)用就OK啦~在筆者的實現(xiàn)中，我們將這一部分封裝成了imageProcess.py，其中函數(shù)get_frame()用于完成上述的圖像獲取、分割過程。

雷塊識別

這一部分可能是整個項目里除了掃雷算法本身之外最重要的部分了。筆者在進(jìn)行雷塊檢測的時候采用了比較簡單的特征，高效并且可以滿足要求。

def analyze\_block(self, block, location):
    block = imageProcess.pil\_to\_cv(block)
 
 
    block\_color = block\[8, 8\]
    x, y = location\[0\], location\[1\]
 
 
    # -1:Not opened
    # -2:Opened but blank
    # -3:Un initialized
 
 
    # Opened
if self.equal(block\_color, self.rgb\_to\_bgr((192, 192, 192))):
if not self.equal(block\[8, 1\], self.rgb\_to\_bgr((255, 255, 255))):
self.blocks\_num\[x\]\[y\] = -2
self.is\_started = True
else:
self.blocks\_num\[x\]\[y\] = -1
 
 
    elif self.equal(block\_color, self.rgb\_to\_bgr((0, 0, 255))):
self.blocks\_num\[x\]\[y\] = 1
 
 
    elif self.equal(block\_color, self.rgb\_to\_bgr((0, 128, 0))):
self.blocks\_num\[x\]\[y\] = 2
 
 
    elif self.equal(block\_color, self.rgb\_to\_bgr((255, 0, 0))):
self.blocks\_num\[x\]\[y\] = 3
 
 
    elif self.equal(block\_color, self.rgb\_to\_bgr((0, 0, 128))):
self.blocks\_num\[x\]\[y\] = 4
 
 
    elif self.equal(block\_color, self.rgb\_to\_bgr((128, 0, 0))):
self.blocks\_num\[x\]\[y\] = 5
 
 
    elif self.equal(block\_color, self.rgb\_to\_bgr((0, 128, 128))):
self.blocks\_num\[x\]\[y\] = 6
 
 
    elif self.equal(block\_color, self.rgb\_to\_bgr((0, 0, 0))):
if self.equal(block\[6, 6\], self.rgb\_to\_bgr((255, 255, 255))):
            # Is mine
self.blocks\_num\[x\]\[y\] = 9
        elif self.equal(block\[5, 8\], self.rgb\_to\_bgr((255, 0, 0))):
            # Is flag
self.blocks\_num\[x\]\[y\] = 0
else:
self.blocks\_num\[x\]\[y\] = 7
 
 
    elif self.equal(block\_color, self.rgb\_to\_bgr((128, 128, 128))):
self.blocks\_num\[x\]\[y\] = 8
else:
self.blocks\_num\[x\]\[y\] = -3
self.is\_mine\_form = False
 
 
if self.blocks\_num\[x\]\[y\] == -3 or not self.blocks\_num\[x\]\[y\] == -1:
self.is\_new\_start = False

可以看到，我們采用了讀取每個雷塊的中心點像素的方式來判斷雷塊的類別，并且針對插旗、未點開、已點開但是空白等情況進(jìn)行了進(jìn)一步判斷。具體色值是筆者直接取色得到的，并且屏幕截圖的色彩也沒有經(jīng)過壓縮，所以通過中心像素結(jié)合其他特征點來判斷類別已經(jīng)足夠了，并且做到了高效率。

在本項目中，我們實現(xiàn)的時候采用了如下標(biāo)注方式：

1-8：表示數(shù)字1到8
9：表示是地雷
0：表示插旗
-1：表示未打開
-2：表示打開但是空白
-3：表示不是掃雷游戲中的任何方塊類型

通過這種簡單快速又有效的方式，我們成功實現(xiàn)了高效率的圖像識別。

掃雷算法實現(xiàn)

這可能是本篇文章最激動人心的部分了。在這里我們需要先說明一下具體的掃雷算法思路：

遍歷每一個已經(jīng)有數(shù)字的雷塊，判斷在它周圍的九宮格內(nèi)未被打開的雷塊數(shù)量是否和本身數(shù)字相同，如果相同則表明周圍九宮格內(nèi)全部都是地雷，進(jìn)行標(biāo)記。
再次遍歷每一個有數(shù)字的雷塊，取九宮格范圍內(nèi)所有未被打開的雷塊，去除已經(jīng)被上一次遍歷標(biāo)記為地雷的雷塊，記錄并且點開。
如果以上方式無法繼續(xù)進(jìn)行，那么說明遇到了死局，選擇在當(dāng)前所有未打開的雷塊中隨機點擊。（當(dāng)然這個方法不是最優(yōu)的，有更加優(yōu)秀的解決方案，但是實現(xiàn)相對麻煩）

基本的掃雷流程就是這樣，那么讓我們來親手實現(xiàn)它吧~

首先我們需要一個能夠找出一個雷塊的九宮格范圍的所有方塊位置的方法。因為掃雷游戲的特殊性，在棋盤的四邊是沒有九宮格的邊緣部分的，所以我們需要篩選來排除掉可能超過邊界的訪問。

def generate\_kernel(k, k\_width, k\_height, block\_location):
 
 
     ls = \[\]
     loc\_x, loc\_y = block\_location\[0\], block\_location\[1\]
 
 
for now\_y in range(k\_height):
for now\_x in range(k\_width):
if k\[now\_y\]\[now\_x\]:
                 rel\_x, rel\_y = now\_x - 1, now\_y - 1
                 ls.append((loc\_y + rel\_y, loc\_x + rel\_x))
return ls
 
 
 kernel\_width, kernel\_height = 3, 3
 
 
# Kernel mode:\[Row\]\[Col\]
 kernel = \[\[1, 1, 1\], \[1, 1, 1\], \[1, 1, 1\]\]
 
 
# Left border
if x == 0:
for i in range(kernel\_height):
         kernel\[i\]\[0\] = 0
 
 
# Right border
if x == self.blocks\_x - 1:
for i in range(kernel\_height):
         kernel\[i\]\[kernel\_width - 1\] = 0
 
 
# Top border
if y == 0:
for i in range(kernel\_width):
         kernel\[0\]\[i\] = 0
 
 
# Bottom border
if y == self.blocks\_y - 1:
for i in range(kernel\_width):
         kernel\[kernel\_height - 1\]\[i\] = 0
 
 
# Generate the search map
 to\_visit = generate\_kernel(kernel, kernel\_width, kernel\_height, location)

我們在這一部分通過檢測當(dāng)前雷塊是否在棋盤的各個邊緣來進(jìn)行核的刪除（在核中，1為保留，0為舍棄），之后通過generate_kernel函數(shù)來進(jìn)行最終坐標(biāo)的生成。

def count\_unopen\_blocks(blocks):
    count = 0
for single\_block in blocks:
if self.blocks\_num\[single\_block\[1\]\]\[single\_block\[0\]\] == -1:
            count += 1
return count
 
 
def mark\_as\_mine(blocks):
for single\_block in blocks:
if self.blocks\_num\[single\_block\[1\]\]\[single\_block\[0\]\] == -1:
self.blocks\_is\_mine\[single\_block\[1\]\]\[single\_block\[0\]\] = 1
 
 
unopen\_blocks = count\_unopen\_blocks(to\_visit)
if unopen\_blocks == self.blocks\_num\[x\]\[y\]:
     mark\_as\_mine(to\_visit)

在完成核的生成之后，我們有了一個需要去檢測的雷塊“地址簿”：to_visit。之后，我們通過count_unopen_blocks函數(shù)來統(tǒng)計周圍九宮格范圍的未打開數(shù)量，并且和當(dāng)前雷塊的數(shù)字進(jìn)行比對，如果相等則將所有九宮格內(nèi)雷塊通過mark_as_mine函數(shù)來標(biāo)注為地雷。

def mark\_to\_click\_block(blocks):
for single\_block in blocks:
 
 
# Not Mine
if not self.blocks\_is\_mine\[single\_block\[1\]\]\[single\_block\[0\]\] == 1:
# Click-able
if self.blocks\_num\[single\_block\[1\]\]\[single\_block\[0\]\] == -1:
 
 
# Source Syntax: \[y\]\[x\] - Converted
if not (single\_block\[1\], single\_block\[0\]) in self.next\_steps:
self.next\_steps.append((single\_block\[1\], single\_block\[0\]))
 
 
def count\_mines(blocks):
    count = 0
for single\_block in blocks:
if self.blocks\_is\_mine\[single\_block\[1\]\]\[single\_block\[0\]\] == 1:
            count += 1
return count
 
 
mines\_count = count\_mines(to\_visit)
 
 
if mines\_count == block:
    mark\_to\_click\_block(to\_visit)

掃雷流程中的第二步我們也采用了和第一步相近的方法來實現(xiàn)。先用和第一步完全一樣的方法來生成需要訪問的雷塊的核，之后生成具體的雷塊位置，通過count_mines函數(shù)來獲取九宮格范圍內(nèi)所有雷塊的數(shù)量，并且判斷當(dāng)前九宮格內(nèi)所有雷塊是否已經(jīng)被檢測出來。

如果是，則通過mark_to_click_block函數(shù)來排除九宮格內(nèi)已經(jīng)被標(biāo)記為地雷的雷塊，并且將剩余的安全雷塊加入next_steps數(shù)組內(nèi)。

\# Analyze the number of blocks
self.iterate\_blocks\_image(BoomMine.analyze\_block)
 
 
# Mark all mines
self.iterate\_blocks\_number(BoomMine.detect\_mine)
 
 
# Calculate where to click
self.iterate\_blocks\_number(BoomMine.detect\_to\_click\_block)
 
 
if self.is\_in\_form(mouseOperation.get\_mouse\_point()):
for to\_click in self.next\_steps:
         on\_screen\_location = self.rel\_loc\_to\_real(to\_click)
         mouseOperation.mouse\_move(on\_screen\_location\[0\], on\_screen\_location\[1\])
         mouseOperation.mouse\_click()

在最終的實現(xiàn)內(nèi)，筆者將幾個過程都封裝成為了函數(shù)，并且可以通過iterate_blocks_number方法來對所有雷塊都使用傳入的函數(shù)來進(jìn)行處理，這有點類似Python中Filter的作用。

之后筆者做的工作就是判斷當(dāng)前鼠標(biāo)位置是否在棋盤之內(nèi)，如果是，就會自動開始識別并且點擊。具體的點擊部分，筆者采用了作者為"wp"的一份代碼（從互聯(lián)網(wǎng)搜集而得），里面實現(xiàn)了基于win32api的窗體消息發(fā)送工作，進(jìn)而完成了鼠標(biāo)移動和點擊的操作。具體實現(xiàn)封裝在mouseOperation.py中，有興趣可以在文末的Github Repo中查看。