from sklearn.feature_extraction.text import CountVectorizer
def count_demo():
    #文本特征抽取
    data=["life is short, i like like python","life is too long,i dislike python"]
    #1、實例化一個轉換器類
    transfer=CountVectorizer()
    #2、調(diào)用fit_transform()
    result=transfer.fit_transform(data)
    print("result:\n",result.toarray())
    print("特征名字:\n", transfer.get_feature_names())
    return None

from sklearn.feature_extraction.text import TfidfVectorizer
import jieba
def cut_word(text):
    #中文分詞
    #jieba.cut(text)返回的是生成器對象，用list強轉成列表
    word=list(jieba.cut(text))
    #轉成字符串
    words=" ".join(word)
    return words
def tfidf_demo():
    data = ["今天很殘酷，明天更殘酷，后天會很美好，但絕大多數(shù)人都死在明天晚上，卻見不到后天的太陽，所以我們干什么都要堅持",
            "注重自己的名聲，努力工作、與人為善、遵守諾言，這樣對你們的事業(yè)非常有幫助",
            "服務是全世界最貴的產(chǎn)品，所以最佳的服務就是不要服務，最好的服務就是不需要服務"]
    data_new = []
    # 將中文文本進行分詞
    for sentence in data:
        data_new.append(cut_word(sentence))
    # 1、實例化一個轉換器類
    transfer = TfidfVectorizer()
    # 2、調(diào)用fit_transform()
    result = transfer.fit_transform(data_new)  # 得到詞頻矩陣 是一個sparse矩陣
    print("result:\n", result.toarray())  # 將sparse矩陣轉化為二維數(shù)組
    print("特征名字:\n", transfer.get_feature_names())
    return None