快捷導(dǎo)航

Face++ API實(shí)現(xiàn)手勢(shì)識(shí)別系統(tǒng)設(shè)計(jì)

更新時(shí)間：2018年11月21日 09:19:02 作者：小可愛的大笨蛋

這篇文章主要為大家詳細(xì)介紹了Face++ API實(shí)現(xiàn)手勢(shì)識(shí)別系統(tǒng)設(shè)計(jì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

通過普通攝像頭拍攝出的照片來進(jìn)行識(shí)別是存在很大的困難的，但是有困難才能找到更好的方法去解決。在百度上大致找了一下手語識(shí)別的案例，很少。API只是看到了Face++發(fā)布的手勢(shì)識(shí)別，在我寫文章的時(shí)候又看到了百度發(fā)布的手勢(shì)識(shí)別API，之后會(huì)嘗試去進(jìn)行使用。

這次使用的是Face++的API，F(xiàn)ace++的API是在之前發(fā)現(xiàn)的，功能上的話還是比較強(qiáng)大的，但是沒有離線版本，需要將數(shù)據(jù)進(jìn)行上傳，然后對(duì)JSON進(jìn)行解析得到結(jié)果。

這是官網(wǎng)給出的一個(gè)Demo，識(shí)別率挺不錯(cuò)的，最后給出的是一個(gè)在20種手勢(shì)上的分布概率，接下來我們自己調(diào)用一下API分析自己的手勢(shì)。

1. 查看官方的API。找到Gesture API，先看一下是怎么說的。

調(diào)用參數(shù)：

官方還給出了一些調(diào)用錯(cuò)誤返回的參數(shù)的說明，有興趣的可以去官網(wǎng)看一下。

還給出了一個(gè)使用命令行調(diào)用API的實(shí)例：

從實(shí)例上不難看出，向 https://api-cn.faceplusplus.com/humanbodypp/beta/gesture 發(fā)送請(qǐng)求，默認(rèn)的參數(shù)有 api_key，api_secret，image_file。api_key和api_secret可以通過控制臺(tái)進(jìn)行生成。

接下來開始寫代碼的調(diào)用，Python版本的，其他版本的類似。

我們將API封裝成一個(gè)類 Gesture：

將其中的key和secret替換成自己的就可以使用：

'''
# -*- coding:utf-8 -*-
@author: TulLing
'''
import requests 
from json import JSONDecoder 
 
gesture_englist = ['big_v','fist','double_finger_up','hand_open','heart_d','index_finger_up','ok','phonecall','palm_up','rock','thumb_down','thumb_up','victory']
gesture_chinese = ["我最帥",
   "拳頭，停下",
   "我發(fā)誓",
   "數(shù)字5",
   "比心",
   "數(shù)字1",
   "好的呢，OK",
   "打電話",
   "手心向上",
   "愛你，520",
   "差評(píng)，不好的",
   "好評(píng)，Good，很棒",
   "勝利，開心"]
# 將字典排序
def sort_dict(adict):
 return sorted(adict.items(),key= lambda item:item[1])
 
class Gesture(object):
 def __init__(self):
 self.http_url = 'https://api-cn.faceplusplus.com/humanbodypp/beta/gesture'
 self.key = '*****'
 self.secret = '******'
 self.data = {"api_key":self.key,"api_secret":self.secret}
 
 
 # 獲取手勢(shì)信息
 def get_info(self,files):
 response = requests.post(self.http_url,data=self.data,files=files)
 req_con = response.content.decode('utf-8')
 req_dict = JSONDecoder().decode(req_con)
 #print(req_dict)
 if('error_message' not in req_dict.keys()) and (len(req_dict['hands'])):
 # 獲取
  hands_dict = req_dict['hands']
  #print(type(hands_dict))
  # 獲取到手的矩形的字典
  gesture_rectangle_dict = hands_dict[0]['hand_rectangle']
  # 獲取到手勢(shì)的字典
  gesture_dict = hands_dict[0]['gesture']
  
  return gesture_dict,gesture_rectangle_dict
 else:
  return [],[];
 
 # 獲取到手勢(shì)文本信息
 def get_text(self,index):
 return gesture_chinese[index]
 
 # 獲取到手勢(shì)對(duì)應(yīng)的概率
 def get_pro(self,gesture_dict,index):
 # print(gesture_dict)
 if(gesture_dict is None or gesture_dict == []):
  return 0
 return gesture_dict[gesture_englist[index]]
 
 # 獲取到手勢(shì)的位置
 def get_rectangle(self,gesture_rectangle_dict):
 if(gesture_rectangle_dict is None or gesture_rectangle_dict == []):
  return (0,0,0,0)
 x = gesture_rectangle_dict['top']
 y = gesture_rectangle_dict['left']
 width = gesture_rectangle_dict['width']
 height = gesture_rectangle_dict['height']
 return (x,y,width,height)

封裝好了Gesture類后接下來就是調(diào)用：先將官方給出的手勢(shì)的圖片保存起來，為了方便只保留單手的手勢(shì)，然后生成隨機(jī)數(shù)讀取手勢(shì)圖片，我們?nèi)ツ７率謩?shì)，后臺(tái)顯示是正確手勢(shì)的概率以及具體的位置，如果圖像中沒有手勢(shì)則概率為0，位置為(0,0,0,0)。

'''
# -*- coding:utf-8 -*-
@author: TulLing
'''
import sys
sys.path.append("../gesture/")
 
import os
import random
import cv2 as cv
import time
import LearnGesture
 
def gestureLearning():
 os.system("cls")
 print("進(jìn)入學(xué)習(xí)手勢(shì)模式！")
 print("我們有13個(gè)手勢(shì)，來和我學(xué)吧！(每次結(jié)束后可以選擇輸入 Q\q 退出！)")
 while(True):
 pic_num = random.randint(0,12) # 生成顯示的圖片的編號(hào)(隨機(jī)數(shù)： 0 - 13)
 print(pic_num)
 pic_path = '../gesture/pic/gesture' + str(pic_num) + ".jpg" # 生成圖片路徑
 
 pic = cv.imread(pic_path) # 加載圖片
 pic = cv.resize(pic,(120,120))
 cv.imshow("PIC",pic) # 顯示要學(xué)習(xí)的手勢(shì)
 
 print("即將打開攝像頭，你有5秒種的時(shí)間準(zhǔn)備手勢(shì)，5秒種保持手勢(shì)！")
 write_path = "../gesture/pic/test.jpg"
 cap = cv.VideoCapture(1)
 while(True):
  _,frame = cap.read()
  cv.imshow("Frame",frame)
  key = cv.waitKey(10)
  if(key == ord('Q') or key == ord('q')):
  cv.imwrite(write_path,frame)
  cv.waitKey(200)
  cap.release()
  cv.destroyAllWindows()
  break
  
 # 此處應(yīng)該有手勢(shì)識(shí)別
 files = {"image_file":open(write_path,'rb')}
 gesture = LearnGesture.Gesture()
 
 # 獲取到手勢(shì)文本
 ge_text = gesture.get_text(pic_num)
 # 獲取手勢(shì)信息
 gesture_dict,gesture_rectangle_dict = gesture.get_info(files)
 # 獲取手勢(shì)的概率
 ge_pro = gesture.get_pro(gesture_dict,pic_num)
 # 獲取到手勢(shì)的坐標(biāo)
 ge_rect = gesture.get_rectangle(gesture_rectangle_dict)
 print("您學(xué)習(xí)的手勢(shì)是：",ge_text)
 print("相似度達(dá)到：",ge_pro)
 print("具體位置：",ge_rect)
 
 
 # print("一輪學(xué)習(xí)結(jié)束，是否繼續(xù)學(xué)習(xí)？(Y/N)")
 # 退出程序，回到主菜單或者繼續(xù)
 commend = input("一輪學(xué)習(xí)結(jié)束，是否繼續(xù)學(xué)習(xí)？(Y/N)：")
 print(commend)
 
 if( commend == 'N' or commend == "n"):
  break
gestureLearning()