解決pandas無法讀取csv文件數(shù)據(jù)的問題
更新時間：2025年07月30日 14:34:31 作者：shengjk1
本文講述作者用Pandas讀取CSV文件時因參數(shù)設(shè)置不當(dāng)導(dǎo)致數(shù)據(jù)錯位,通過調(diào)整delimiter和on_bad_lines參數(shù)最終解決問題,并強(qiáng)調(diào)正確參數(shù)配置對數(shù)據(jù)處理的重要性
一、前言
我有一個 csv 文件，要做數(shù)據(jù)分析，可是用 pandas 死活讀不出來，差點搞崩潰了。
但打開 csv 文件，發(fā)現(xiàn)里面的內(nèi)容啥的還是蠻正常的
并且以 逗號 分割
二、問題復(fù)現(xiàn)
1. 問題
import pandas as pd
df=pd.read_csv('./data/test.csv')
df
2. 通過 on_bad_lines=‘warn’ 跳過異常數(shù)據(jù)
不報錯了，但發(fā)現(xiàn)數(shù)據(jù)錯位了。
3. 沒辦法了 delimiter=‘\t’
數(shù)據(jù)總算對了，看著是沒有錯位
4. 添加 delimiter后，按列無法取值
仔細(xì)想想也應(yīng)該這樣，因為本來分割符就是 ‘,’
5. 沒有辦法回歸最原始的方式
with open(f'{file_path}', newline='',encoding='utf-8') as csvfile:
reader = csv.DictReader(csvfile)
三、總結(jié)
通過本文可見，正確的參數(shù)設(shè)置對于使用Pandas讀取CSV文件至關(guān)重要。在處理異常數(shù)據(jù)時，合適的參數(shù)選擇和方法應(yīng)用能有效解決數(shù)據(jù)錯位和取值異常等問題，確保數(shù)據(jù)的準(zhǔn)確性和完整性。
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
本篇文章給大家分享了關(guān)于Python裝飾器以及裝飾器模式的相關(guān)知識點，一起跟著小編學(xué)習(xí)下吧。2018-05-05
這篇文章主要介紹了Python可迭代對象操作,涉及Python列表生成式、迭代器、數(shù)據(jù)遍歷等相關(guān)操作技巧,需要的朋友可以參考下2019-05-05
Django 是一個開放源代碼的 Web 應(yīng)用框架，由 Python 寫成，今天通過本文給大家介紹python Django框架快速入門教程，適用后臺管理，感興趣的朋友跟隨小編一起看看吧2021-07-07
Python中字符串,列表與字典的常用拼接方法總結(jié)
有時在數(shù)據(jù)處理時,需要對數(shù)據(jù)進(jìn)行拼接處理,比如字符串的拼接、列表的拼接等,本文主要是介紹了字符串、列表、字典常用的拼接方法,希望對大家有所幫助2024-02-02
這篇文章主要介紹了python3兩數(shù)相加的實現(xiàn)示例，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
Python基于LightGBM進(jìn)行時間序列預(yù)測
LightGBM是擴(kuò)展機(jī)器學(xué)習(xí)系統(tǒng)。是一款基于GBDT（梯度提升決策樹）算法的分布梯度提升框架。其設(shè)計思路主要集中在減少數(shù)據(jù)對內(nèi)存與計算性能的使用上，以及減少多機(jī)器并行計算時的通訊代價。本文將通過LightGBM進(jìn)行時間序列預(yù)測，感興趣的可以了解一下2022-03-03
win10系統(tǒng)Anaconda和Pycharm的Tensorflow2.0之CPU和GPU版本安裝教程
這篇文章主要介紹了win10系統(tǒng) Anaconda 和 Pycharm 的 Tensorflow2.0 之 CPU和 GPU 版本安裝教程，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12
如何優(yōu)雅地改進(jìn)Django中的模板碎片緩存詳解
這篇文章主要給大家介紹了關(guān)于如何優(yōu)雅地改進(jìn)Django中的模板碎片緩存的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2018-07-07
python3 pathlib庫Path類方法總結(jié)
這篇文章主要介紹了python3 pathlib庫Path類方法總結(jié),文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-12-12
這篇文章主要為大家詳細(xì)介紹了如何利用PyQt5和serial模塊實現(xiàn)一個簡單的串口小工具，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2023-01-01