最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

如何利用python批量提取txt文本中所需文本并寫(xiě)入excel

 更新時(shí)間:2022年07月27日 10:49:07   作者:我想有很多頭發(fā)和很多錢(qián)  
最近幫人寫(xiě)了幾個(gè)小程序,所以記錄下,下面這篇文章主要給大家介紹了關(guān)于如何利用python批量提取txt文本中所需文本并寫(xiě)入excel的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下

1.提取txt文本

我想要的文本

我想要的文本是如圖所示,寶可夢(mèng)的外貌描述文本,由于原本的數(shù)據(jù)源結(jié)構(gòu)并不是很穩(wěn)定,而且也不是表格形式,因此在csdn上查了半天。

最原始的一行一行提取(不建議,未采用)

fi = open("D:\python_learning\data\data\Axew.txt","r",encoding="utf-8")
wflag =False                #寫(xiě)標(biāo)記
newline = []                #創(chuàng)建一個(gè)新的列表


for line in fi :            #按行讀入文件,此時(shí)line的type是str
    if "=" in line:        #重置寫(xiě)標(biāo)記
        wflag =False
    if "原型剖析" in line:     #檢驗(yàn)是否到了要寫(xiě)入的內(nèi)容
        wflag = True
        continue
    if wflag == True:
        K = list(line)
        if len(K)>1:           #去除文本中的空行
            for i in K :       #寫(xiě)入需要內(nèi)容
                newline.append(i)

strlist = "".join(newline)      #合并列表元素
newlines = str(strlist)         #list轉(zhuǎn)化成str
print(newlines)
"""
for D in range(1,100):                       #刪掉句中()
    newlines = newlines.replace("({})".format(D),"")

for P in range(0,9):                               #刪掉前面數(shù)值標(biāo)題
    for O in  range(0,9):
        for U in range(0, 9):
           newlines = newlines.replace("{}.{}{}".format(P,O,U), "")
fo.write(newlines)

fo.close()
fi.close()

"""

源代碼為:將提取出的txt文本儲(chǔ)存到另外一個(gè)txt中,跟我的需求不符合,因此注釋掉了

正則表達(dá)式提取

由于txt文件打開(kāi)后不是數(shù)據(jù)格式,因此先轉(zhuǎn)為列表形式(一行是一個(gè)元素);再將列表元素合到一起,轉(zhuǎn)為一個(gè)元素。
re.compile函數(shù)可以創(chuàng)建正則函數(shù)

pattern= re.compile(r’=棲息地=\n(.*?)\n==’, flags=re.DOTALL)

flags=re.DOTALL 這樣找尋文本時(shí)可以跨行;

’=棲息地=\n(.*?)\n==’ 正則表達(dá)式表示只要小括號(hào)里面的以‘=棲息地=\n’開(kāi)頭,‘\n==’結(jié)尾的所有文本

pattern.findall函數(shù)可以在文本中找到符合正則函數(shù)的文本,但是莫名其妙會(huì)重復(fù)好多次,這個(gè)問(wèn)題應(yīng)該是我哪里寫(xiě)錯(cuò)了,但是因?yàn)閷?shí)在沒(méi)空糾結(jié)這個(gè),所以直接用result=pattern.findall(f2)[0]來(lái)提取第一個(gè)。

path='D:\\python_learning\\data\\data\\'+df.iloc[0,3]+'.txt'
#為循環(huán)做準(zhǔn)備
import re

f1=list(open(path,"r",encoding="utf-8"))#列表格式
f2="".join(f1)#合并列表元素
#print(type(f3))

pattern= re.compile(r'===棲息地===\n(.*?)\n==', flags=re.DOTALL)#在所有行里找以‘===棲息地===\n'開(kāi)頭,‘\n=='結(jié)尾的所有文本

if len(pattern.findall(f2))==0:#有可能找不到,以防報(bào)錯(cuò)
    result='none'
else:
        result=pattern.findall(f2)[0]

print(result)

2.增加數(shù)據(jù)框的列

由于我需要在已有數(shù)據(jù)集上增加上面提取到的文本數(shù)據(jù),因此我準(zhǔn)備先把csv數(shù)據(jù)放到Python里變成數(shù)據(jù)框,再把數(shù)據(jù)框里擴(kuò)列,再改內(nèi)容,再寫(xiě)入新的csv。

參考了代碼,這個(gè)比較亂,只看第一個(gè)import下面就行,我單純就是留個(gè)記錄:

#數(shù)據(jù)框增加列的參考
import pandas as pd
df = pd.DataFrame(columns = list('abcd'),data = [[6,7,8,9],[10,11,12,13]])
#在b列前面增加一個(gè)m列
col_name = list(df.columns)
col_name.insert(1,'m')
df.reindex(columns = col_name,fill_value = 12)
#在b列前一次性增加三列h,n,g
col_name = col_name[0:2]+list('hng')+col_name[2:]
df.reindex(columns = col_name,fill_value = 10)
import pandas as pd

df = pd.DataFrame(columns =word,data = [['Bulbasaur',7,8,9],[10,11,12,13]])
print(df)
col_name = list(df.columns)#列名
print(col_name )
#在b列前面增加一個(gè)m列

col_name.insert(1,'m')
print(col_name)
df=df.reindex(columns =['name','概述', '外貌', '棲息地', '原型剖析'],fill_value = 12)
print(df)

3.引入基礎(chǔ)csv數(shù)據(jù),并擴(kuò)列

是之后循環(huán)和寫(xiě)入的基礎(chǔ)

import pandas as pd
data_name = pd.read_csv(r'D:\python_learning\data\basedata.csv')
#print(data_name)
word=['概述','外貌','棲息地','原型剖析']
col_name = list(data_name.columns)#列名
col_name = col_name +word#添加新的列名
#print(col_name )
df=data_name.reindex(columns = col_name,fill_value =' ')#在數(shù)據(jù)框中增加四列,填充空格
print(df)
#print(df.iloc[2,2])

我的數(shù)據(jù)是這樣的:

匯總

把上面的放在一起,并且把需要循環(huán)的模塊寫(xiě)成函數(shù):

# #  引入包

# In[ ]:

import re
import pandas as pd

# # 引入基礎(chǔ)數(shù)據(jù)

# In[135]:

data_name = pd.read_csv(r'D:\python_learning\data\basedata.csv')
#print(data_name)
word=['概述','外貌','棲息地','原型剖析']

col_name = list(data_name.columns)#列名
col_name = col_name +word#添加新的列名

#print(col_name )
df=data_name.reindex(columns = col_name,fill_value =' ')#在數(shù)據(jù)框中增加四列,填充空格
#print(df)
#print(df.iloc[2,2])

# # 引入函數(shù)

# In[ ]:

#去除空行函數(shù)
def deletespace(path1,path2):
    with open(path1,'r',encoding = 'utf-8') as fr,open(path2,'w',encoding = 'utf-8') as fd:
            for text in fr.readlines():
                    if text.split():
                            fd.write(text)
            print('輸出成功....')
    fr.close()
    fd.close()

# In[143]:

#正則找文本
def find(path,conversion):
    f1=list(open(path,"r",encoding="utf-8"))#列表格式
    f2="".join(f1)#合并列表元素
    #print(type(f3))

    pattern= re.compile(conversion, flags=re.DOTALL)#在所有行里找以‘===棲息地===\n'開(kāi)頭,‘\n=='結(jié)尾的所有文本

    if len(pattern.findall(f2))==0:#有可能找不到,以防報(bào)錯(cuò)
        result='none'
    else:
            result=pattern.findall(f2)[0]
    return result

# # 起始準(zhǔn)備 把所有空行消除,不需要運(yùn)行第二遍

# In[ ]:

data_name = pd.read_csv(r'D:\python_learning\data\basedata.csv')
for word in df.iloc[:,3]:
    path1='D:\\python_learning\\data\\data\\'+word+'.txt'#爬蟲(chóng)獲取的數(shù)據(jù)
    path2='D:\\python_learning\\data\\description\\'+word+'.txt'
    deletespace(path1,path2)

# # 開(kāi)始循環(huán)

# In[ ]:

word=['概述','外貌','棲息地','原型剖析']#根據(jù)文本中情況進(jìn)行正則
conversion=['==概述==\n(.*?)==','===外貌===\n(.*?)==','===棲息地===\n(.*?)==','==原型剖析==\n(.*?)==']#正則文本

word1=col_name[7]
print(word1)
newlines=seek(path,word1)
print(newlines)

# In[145]:

print(len(df))
print(len(list(df.columns)))

# In[150]:

for i in range(len(df)):
    for j in range(6,len(list(df.columns))):
        path='D:\\python_learning\\data\\description\\'+df.iloc[i,3]+'.txt'
        k=j-6
        cword=conversion[k]
        result=find(path,cword)
        df.iloc[i,j]=result
# In[152]:

df.to_csv('df.csv',encoding ='utf_8_sig')#輸出中文必須用這個(gè)utf_8_sig  編碼才是中文
print("已輸出文檔")
#出現(xiàn)問(wèn)題,很多匹配不到,發(fā)現(xiàn)是原始文本的原因

總之我文本描述的準(zhǔn)備是差不多了。

總結(jié) 

到此這篇關(guān)于如何利用python批量提取txt文本中所需文本并寫(xiě)入excel的文章就介紹到這了,更多相關(guān)python批量提取txt文本寫(xiě)入excel內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Python機(jī)器學(xué)習(xí)之使用Pyecharts制作可視化大屏

    Python機(jī)器學(xué)習(xí)之使用Pyecharts制作可視化大屏

    pyecharts是一個(gè)用于生成Echarts圖表的Python庫(kù),Echarts是百度開(kāi)源的一個(gè)數(shù)據(jù)可視化 JS 庫(kù),可以生成一些非??犰诺膱D表,這篇文章主要給大家介紹了關(guān)于Python機(jī)器學(xué)習(xí)之Pyecharts制作可視化大屏的相關(guān)資料,需要的朋友可以參考下
    2021-10-10
  • python PyTorch預(yù)訓(xùn)練示例

    python PyTorch預(yù)訓(xùn)練示例

    這篇文章主要介紹了python PyTorch預(yù)訓(xùn)練示例,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
    2018-02-02
  • django中的select_related和prefetch_related性能優(yōu)化分析

    django中的select_related和prefetch_related性能優(yōu)化分析

    這篇文章主要介紹了django中的select_related和prefetch_related性能優(yōu)化分析,本文給大家介紹的非常詳細(xì),需要的朋友可以參考下
    2024-07-07
  • numpy下的flatten()函數(shù)用法詳解

    numpy下的flatten()函數(shù)用法詳解

    這篇文章主要介紹了numpy下的flatten()函數(shù)用法詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-05-05
  • PIL包中Image模塊的convert()函數(shù)的具體使用

    PIL包中Image模塊的convert()函數(shù)的具體使用

    這篇文章主要介紹了PIL包中Image模塊的convert()函數(shù)的具體使用,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-02-02
  • Python中的魔法方法__repr__和__str__用法實(shí)例詳解

    Python中的魔法方法__repr__和__str__用法實(shí)例詳解

    這篇文章主要介紹了Python中的__repr__和__str__方法,它們分別用于提供對(duì)象的官方字符串表示和用戶友好的字符串表示,通過(guò)重寫(xiě)這兩個(gè)方法,可以自定義對(duì)象的打印輸出,文中通過(guò)代碼將用法介紹的非常詳細(xì),需要的朋友可以參考下
    2025-02-02
  • Python Numpy庫(kù)datetime類(lèi)型的處理詳解

    Python Numpy庫(kù)datetime類(lèi)型的處理詳解

    這篇文章主要介紹了Python Numpy庫(kù)datetime類(lèi)型的處理詳解,Python中自帶的處理時(shí)間的模塊就有time 、datetime、calendar,另外還有擴(kuò)展的第三方庫(kù),如dateutil等等。。當(dāng)我們用NumPy庫(kù)做數(shù)據(jù)分析時(shí),如何轉(zhuǎn)換時(shí)間呢?需要的朋友可以參考下
    2019-07-07
  • 淺談pyhton學(xué)習(xí)中出現(xiàn)的各種問(wèn)題(新手必看)

    淺談pyhton學(xué)習(xí)中出現(xiàn)的各種問(wèn)題(新手必看)

    下面小編就為大家?guī)?lái)一篇淺談pyhton學(xué)習(xí)中出現(xiàn)的各種問(wèn)題(新手必看)。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
    2017-05-05
  • Python常用的文件及文件路徑、目錄操作方法匯總介紹

    Python常用的文件及文件路徑、目錄操作方法匯總介紹

    這篇文章主要介紹了Python常用的文件及文件路徑、目錄操作方法匯總介紹,本文集合了最常用的一些文件和目錄操作函數(shù),并一一介紹它們的作用,需要的朋友可以參考下
    2015-05-05
  • 基于Python實(shí)現(xiàn)簡(jiǎn)單的定時(shí)器詳解

    基于Python實(shí)現(xiàn)簡(jiǎn)單的定時(shí)器詳解

    所謂定時(shí)器,是指間隔特定時(shí)間執(zhí)行特定任務(wù)的機(jī)制。幾乎所有的編程語(yǔ)言,都有定時(shí)器的實(shí)現(xiàn)。這篇文章主要介紹的是通過(guò)Python實(shí)現(xiàn)的定時(shí)器,感興趣的可以跟隨小編學(xué)習(xí)一下
    2021-12-12

最新評(píng)論

黔江区| 尤溪县| 城口县| 新乡市| 湘阴县| 许昌市| 汝南县| 公安县| 松滋市| 塔河县| 海兴县| 墨竹工卡县| 深泽县| 凉城县| 玉田县| 青海省| 丹凤县| 蒙山县| 五华县| 昌图县| 阿瓦提县| 聂拉木县| 丹江口市| 苏尼特右旗| 阳春市| 芜湖县| 定边县| 四会市| 民丰县| 太仓市| 阿坝| 兖州市| 义乌市| 金沙县| 昌黎县| 汝南县| 高陵县| 栾城县| 塔河县| 崇阳县| 石棉县|