PHP中文分詞代碼 v1.0 UTF-8

投訴報(bào)錯(cuò)

源碼大?。?span>2.3MB
源碼語言：簡體中文
源碼類型：國產(chǎn)軟件
源碼授權(quán)：免費(fèi)軟件
源碼類別：搜索鏈接
應(yīng)用平臺：php
更新時(shí)間：2011-11-22
網(wǎng)友評分：

360通過騰訊通過金山通過

2.3MB

詳情介紹

PHP中文分詞代碼使用居于unicode的詞庫，使用反向匹配模式分詞，理論上兼容編碼更廣泛，并且對utf-8編碼尤為方便。由于PhpanAlysis是無組件的系統(tǒng)，因此速度會(huì)比有組件的稍慢，不過在大量分詞中，由于邊分詞邊完成詞庫載入，因此內(nèi)容越多，反而會(huì)覺得速度越快，這是正?，F(xiàn)象，對于支持PHP-APC的服務(wù)器，本程序支持對詞典進(jìn)行緩存，這樣做之后理論的速度并不慢于那些帶組件的分詞程序了。
分詞系統(tǒng)是基于字符串匹配的分詞方法，這種方法又叫做機(jī)械分詞方法，它是按照一定的策略將待分析的漢字串與一個(gè)“充分大的”機(jī)器詞典中的詞條進(jìn)行配，若在詞典中找到某個(gè)字符串，則匹配成功（識別出一個(gè)詞）。按照掃描方向的不同，串匹配分詞方法可以分為正向匹配和逆向匹配；按照不同長度優(yōu)先匹配的情況，可以分為最大（最長）匹配和最?。ㄗ疃蹋┢ヅ?；按照是否與詞性標(biāo)注過程相結(jié)合，又可以分為單純分詞方法和分詞與標(biāo)注相結(jié)合的一體化方法。常用的幾種機(jī)械分詞方法如下：
　　 1）正向最大匹配法（由左到右的方向）；
　　 2）逆向最大匹配法（由右到左的方向）；
　　 3）最少切分（使每一句中切出的詞數(shù)最?。?。
　　還可以將上述各種方法相互組合，例如，可以將正向最大匹配方法和逆向最大匹配方法結(jié)合起來構(gòu)成雙向匹配法。由于漢語單字成詞的特點(diǎn)，正向最小匹配和逆向最小匹配一般很少使用。一般說來，逆向匹配的切分精度略高于正向匹配，遇到的歧義現(xiàn)象也較少。統(tǒng)計(jì)結(jié)果表明，單純使用正向最大匹配的錯(cuò)誤率為1/169，單純使用逆向最大匹配的錯(cuò)誤率為1/245。但這種精度還遠(yuǎn)遠(yuǎn)不能滿足實(shí)際的需要。實(shí)際使用的分詞系統(tǒng)，都是把機(jī)械分詞作為一種初分手段，還需通過利用各種其它的語言信息來進(jìn)一步提高切分的準(zhǔn)確率。
　　一種方法是改進(jìn)掃描方式，稱為特征掃描或標(biāo)志切分，優(yōu)先在待分析字符串中識別和切分出一些帶有明顯特征的詞，以這些詞作為斷點(diǎn)，可將原字符串分為較小的串再來進(jìn)機(jī)械分詞，從而減少匹配的錯(cuò)誤率。另一種方法是將分詞和詞類標(biāo)注結(jié)合起來，利用豐富的詞類信息對分詞決策提供幫助，并且在標(biāo)注過程中又反過來對分詞結(jié)果進(jìn)行檢驗(yàn)、調(diào)整，從而極大地提高切分的準(zhǔn)確率。

中文代碼

下載地址

下載錯(cuò)誤？【投訴報(bào)錯(cuò)】