快捷導(dǎo)航

pyhanlp安裝介紹和簡(jiǎn)單應(yīng)用

更新時(shí)間：2019年02月22日 11:17:20 作者：人工智站

這篇文章主要介紹了pyhanlp安裝介紹和簡(jiǎn)單應(yīng)用，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

1. 前言

中文分詞≠自然語(yǔ)言處理！

Hanlp

HanLP是由一系列模型與算法組成的Java工具包，目標(biāo)是普及自然語(yǔ)言處理在生產(chǎn)環(huán)境中的應(yīng)用。HanLP具備功能完善、性能高效、架構(gòu)清晰、語(yǔ)料時(shí)新、可自定義的特點(diǎn)。

功能：中文分詞詞性標(biāo)注命名實(shí)體識(shí)別依存句法分析關(guān)鍵詞提取新詞發(fā)現(xiàn) 短語(yǔ)提取自動(dòng)摘要文本分類(lèi) 拼音簡(jiǎn)繁

中文分詞只是第一步；HanLP從中文分詞開(kāi)始，覆蓋詞性標(biāo)注、命名實(shí)體識(shí)別、句法分析、文本分類(lèi)等常用任務(wù)，提供了豐富的API。

不同于一些簡(jiǎn)陋的分詞類(lèi)庫(kù)，HanLP精心優(yōu)化了內(nèi)部數(shù)據(jù)結(jié)構(gòu)和IO接口，做到了毫秒級(jí)的冷啟動(dòng)、千萬(wàn)字符每秒的處理速度，而內(nèi)存最低僅需120MB。無(wú)論是移動(dòng)設(shè)備還是大型集群，都能獲得良好的體驗(yàn)。

不同于市面上的商業(yè)工具，HanLP提供訓(xùn)練模塊，可以在用戶(hù)的語(yǔ)料上訓(xùn)練模型并替換默認(rèn)模型，以適應(yīng)不同的領(lǐng)域。項(xiàng)目主頁(yè)上提供了詳細(xì)的文檔，以及在一些開(kāi)源語(yǔ)料上訓(xùn)練的模型。

HanLP希望兼顧學(xué)術(shù)界的精準(zhǔn)與工業(yè)界的效率，在兩者之間取一個(gè)平衡，真正將自然語(yǔ)言處理普及到生產(chǎn)環(huán)境中去。

我們使用的pyhanlp是用python包裝了HanLp的java接口。

2. pyhanlp的安裝和使用

2.1 python下安裝pyhanlp

pip安裝

sudo pip3 install pyhanlp

第一次import pyhanlp會(huì)下載一個(gè)比較大的數(shù)據(jù)集，需要耐心等待下，后面再import就不會(huì)有了。

from pyhanlp import *

詳情請(qǐng)見(jiàn)pyhanlp官方文檔

2.2 pyhanlp簡(jiǎn)單使用方法

分詞使用

from pyhanlp import *
print(HanLP.segment("今天開(kāi)心了嗎？"))
>>> [今天/t, 開(kāi)心/a, 了/ule, 嗎/y, ？/w]

依存分析使用

from pyhanlp import *
print(HanLP.parseDependency("今天開(kāi)心了嗎？"))
>>> 1  今天 今天 nt t  _  2  狀中結(jié)構(gòu)  _  _
>>> 2  開(kāi)心 開(kāi)心 a  a  _  0  核心關(guān)系  _  _
>>> 3  了  了  e  y  _  2  右附加關(guān)系  _  _
>>> 4  嗎  嗎  e  y  _  2  右附加關(guān)系  _  _
>>> 5  ？  ？  wp w  _  2  標(biāo)點(diǎn)符號(hào)  _  _

2.3 pyhanlp可視化

如果大家看不太清楚上面的輸出，pyhanlp提供了一個(gè)很好的展示交付界面，只要一句命令就能啟動(dòng)一個(gè)web服務(wù)