利用Python將文本中的中英文分離方法
更新時間：2018年10月31日 11:12:01 作者：微瀾同學(xué)
今天小編就為大家分享一篇利用Python將文本中的中英文分離方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
在進(jìn)行文本分析、提取關(guān)鍵詞時，新聞評論等文本通常是中英文及其他語言的混雜，若不加處理直接分析，結(jié)果往往差強(qiáng)人意。
下面對中英文文本進(jìn)行分離做一下總結(jié)：
1、超短文本，ASCII識別。
s = "China's Legend Holdings will split its several business arms to go public on stock markets, the group's president Zhu Linan said on Tuesday.該集團(tuán)總裁朱利安周二表示，中國聯(lián)想控股將分拆其多個業(yè)務(wù)部門在股市上市。" result = "".join(i for i in s if ord(i) < 256) print(result)
out: China's Legend Holdings will split its several business arms to go public on stock markets, the group's president Zhu Linan said on Tuesday.
2、unicode編碼識別
import re s = "China's Legend Holdings will split its several business arms to go public on stock markets, the group's president Zhu Linan said on Tuesday.該集團(tuán)總裁朱利安周二表示，中國聯(lián)想控股將分拆其多個業(yè)務(wù)部門在股市上市。" uncn = re.compile(r'[\u0061-\u007a,\u0020]') en = "".join(uncn.findall(s.lower())) print(en)
out: chinas legend holdings will split its several business arms to go public on stock markets, the groups president zhu linan said on tuesday
中文的編碼范圍是：\u4e00-\u9fa5，相應(yīng)的[^\u4e00-\u9fa5]可匹配非中文。
匹配英文時，需要將空格[\u0020]加入，不然單詞之間沒空格了。
以上這篇利用Python將文本中的中英文分離方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python面向?qū)ο笾^承和組合用法,結(jié)合實例形式分析了Python面向?qū)ο蟪绦蛟O(shè)計中組合與繼承的相關(guān)原理、使用方法及操作注意事項,需要的朋友可以參考下2018-08-08
python實現(xiàn)修改固定模式的字符串內(nèi)容操作示例
這篇文章主要介紹了python實現(xiàn)修改固定模式的字符串內(nèi)容操作,結(jié)合實例形式詳細(xì)分析了Python修改固定模式字符串原理、實現(xiàn)方法及相關(guān)操作注意事項,需要的朋友可以參考下2019-12-12
今天帶大家學(xué)習(xí)Python基礎(chǔ)知識,文中對python進(jìn)程作了詳細(xì)的介紹,對正在學(xué)習(xí)python基礎(chǔ)的小伙伴們有很好地幫助,需要的朋友可以參考下2021-05-05
在python2.7版本中，MySQLdb模塊還不是python的內(nèi)置模塊，但是MySQLdb模塊又是Python與MySQL連接的橋梁，對于作為MySQL DBA又很喜歡Python語言的我來說，MySQLdb真的是必需品呢。所以就需要自己進(jìn)行安裝了，這篇文章就給大家詳細(xì)介紹了關(guān)于用yum安裝MySQLdb模塊的步驟。2016-12-12
python實現(xiàn)tail實時查看服務(wù)器日志示例
今天小編就為大家分享一篇python實現(xiàn)tail實時查看服務(wù)器日志示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
今天給大家?guī)淼氖顷P(guān)于Python的一些知識,文章圍繞著Python線程的玩法展開,文中有非常詳細(xì)的介紹及代碼示例,需要的朋友可以參考下2021-06-06
這篇文章主要介紹了通過Python編寫一個簡單登錄功能過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-09-09
這篇文章主要介紹了Python游戲推箱子的實現(xiàn),推箱子游戲是一款可玩性極高的策略解謎手游，游戲中玩家將扮演一名可愛Q萌的角色，下面我們就看看看具體的實現(xiàn)過程吧，需要的小伙伴可以參考一下2021-12-12
10個Python常用的損失函數(shù)及代碼實現(xiàn)分享
損失函數(shù)是一種衡量模型與數(shù)據(jù)吻合程度的算法。損失函數(shù)測量實際測量值和預(yù)測值之間差距的一種方式。本文為大家總結(jié)了10個常用的損失函數(shù)及Python代碼實現(xiàn)，需要的可以參考一下2022-09-09
用Python(Tornado)模擬登錄小米帳號,搶小米手機(jī)2013-11-11