python數(shù)據(jù)處理詳情
一，前言
我們現(xiàn)在拿到了一個十分龐大的數(shù)據(jù)集。是json文件，里面存儲了將近十萬個數(shù)據(jù)，現(xiàn)在要對其中的數(shù)據(jù)進行清洗處理。
二，python模塊
import json import jieba
我們需要用json模塊來處理json文件，和使用jieba庫來分析詞性，這樣可以實現(xiàn)我們的需求。
2.1，增加停用詞表
停用詞表.txt，把停用詞表存入stopwords，原因是：我們的目標分析json里有一些標點符號。
stopwords = [line.strip() for line in open("停用詞表.txt",encoding="utf-8").readlines()]
基本如圖所示：
a+str(b)+c這是文件名稱，a+b+c=./json/poet.song.0.json b遞增，實現(xiàn)動態(tài)取值
with open(a+str(b)+c,'r',encoding='utf8')as fp:
因為有將近500個json文件。每個文件里有好幾千組數(shù)據(jù)，我現(xiàn)在盡力的優(yōu)化代碼，現(xiàn)在提取一次，把需要的數(shù)據(jù)存入文件里面差不多需要五分鐘。
2.2，順序讀取
- 定義一個空的字符串，將json對象轉(zhuǎn)換為python對象。定義一個空的list存放詩句。
- 循環(huán)
json_data i為里面的每一個元素。 - 新的追加到
list_paragraphs列表 - 循環(huán) j為里面的每一句。
代碼如圖所示：
使用jieba庫，分析str內(nèi)容的詞性【注意是名稱，動詞。。。?！颗判休敵龆际莻z個字是巧合，沒有字數(shù)限制
words = jieba.lcut(str_s)
現(xiàn)在words為分析完畢的詞性列表，遍歷。
排除特殊符號
for word in words: ? ? ? ? ? ? if word not in stopwords: ? ? ? ? ? ? ? ? if len(word) == 1: ? ? ? ? ? ? ? ? ? ? continue ? ? ? ? ? ? ? ? else: ? ? ? ? ? ? ? ? ? ? counts[word] = counts.get(word,0) + 1
出現(xiàn)頻率加一。
2.3，lambda函數(shù)
使用lambda函數(shù)，sort快速排序，遍歷輸出頻率前50的詞性。
items.sort(key=lambda x:x[1], reverse=True)
之后賦值word, count。
word, count = items[i]
? ? print ("{:<10}{:>7}".format(word, count))三，運行
3.1，存入文件
f=open('towa.txt',"a",encoding='gb18030')
? ? ? ? ? ? f.writelines("題目:"+textxxx)
? ? ? ? ? ? f.writelines(word_ping)
到此這篇關(guān)于python數(shù)據(jù)處理詳情的文章就介紹到這了,更多相關(guān)python數(shù)據(jù)處理內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Python浮點數(shù)取整、格式化和NaN處理的操作方法
這篇文章主要介紹了Python浮點數(shù)取整、格式化和NaN處理的操作方法,本文較詳細介紹了取整的三種方法，格式化浮點數(shù)輸出的示例代碼詳解，感興趣的朋友跟隨小編一起看看吧2022-05-05
這篇文章主要介紹了Python中靜態(tài)方法,類方法,屬性方法使用方法，文章圍繞主題的相關(guān)資料展開詳細內(nèi)容，具有一定的參考價值，需要的小伙伴可以參考一下2022-05-05
今天小編給大家介紹一款可視化模塊，使用它可以繪制出十分驚艷的動圖效果。文中的示例代碼講解詳細，感興趣的小伙伴可以跟隨小編一起學習一下2022-04-04
tensorflow沒有output結(jié)點,存儲成pb文件的例子
今天小編就為大家分享一篇tensorflow沒有output結(jié)點,存儲成pb文件的例子，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01
python實現(xiàn)的登錄與提交表單數(shù)據(jù)功能示例
這篇文章主要介紹了python實現(xiàn)的登錄與提交表單數(shù)據(jù)功能,結(jié)合實例形式分析了Python表單登錄相關(guān)的請求與響應(yīng)操作實現(xiàn)技巧,需要的朋友可以參考下2019-09-09
這篇文章主要介紹了Python3.9又更新了:dict內(nèi)置新功能，從文檔中，我們可以看到官方透露的對 dict、math 等組件增加的新特性，以及下一步的開發(fā)進展2020-02-02
這篇文章主要介紹了在類Unix系統(tǒng)上開始Python3編程入門,講解了最基礎(chǔ)最直觀的利用Print函數(shù)進行各種輸出的方法,需要的朋友可以參考下2015-08-08
本文主要介紹了selenium自動化測試簡單準備，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-01-01
這篇文章主要介紹了python如何實現(xiàn)多層級自動賦值字典問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
最近做項目需要圖像擬合，本文主要介紹了python實現(xiàn)使用遺傳算法進行圖片擬合，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-03-03