關(guān)于使用OpenCsv導(dǎo)入大數(shù)據(jù)量報(bào)錯(cuò)的問(wèn)題
導(dǎo)入100W的Csv數(shù)據(jù)，使用OpenCsv解析工具解析Csv，發(fā)現(xiàn)報(bào)錯(cuò)
報(bào)錯(cuò)內(nèi)容
com.opencsv.exceptions.CsvMalformedLineException: Unterminated quoted field at end of CSV line. Beginning of lost text: [XXXXX...]
at com.opencsv.CSVReader.readNext(CSVReader.java:355) ~[opencsv-4.6.jar!/:na]
解析代碼
CSVParser csvParser = new CSVParserBuilder().build();
try (CSVReader readerCsv = new CSVReaderBuilder(new InputStreamReader(csv)).withCSVParser(csvParser).build()) {
String[] lines;
while ((lines = readerCsv.readNext()) != null) {
doRead(lines);
}
} catch (CsvValidationException e) {
throw new IOException(e);
}
報(bào)錯(cuò)位置發(fā)生在英文逗號(hào)處，一開(kāi)始懷疑是英文逗號(hào)解析問(wèn)題
Csv 文本報(bào)錯(cuò)位置
"2018-04-28 00:40:43","xxx,XXXXX"
去掉當(dāng)前位置英文逗號(hào)導(dǎo)入仍舊失敗
后來(lái)查看源碼發(fā)現(xiàn)默認(rèn)的 CSVParser 會(huì)對(duì)反斜杠""進(jìn)行處理
這導(dǎo)致了解析Csv邏輯與源文件不同
后來(lái)使用了 RFC4180Parser 問(wèn)題解決
RFC4180Parser rfc4180Parser = new RFC4180ParserBuilder().build();
try (CSVReader readerCsv = new CSVReaderBuilder(new InputStreamReader(csv)).withCSVParser(rfc4180Parser).build()) {
String[] lines;
while ((lines = readerCsv.readNext()) != null) {
doRead(lines);
}
} catch (CsvValidationException e) {
throw new IOException(e);
}
參考文檔：（RFC4180標(biāo)準(zhǔn)文檔）https://datatracker.ietf.org/doc/html/rfc4180
到此這篇關(guān)于使用OpenCsv導(dǎo)入大數(shù)據(jù)量報(bào)錯(cuò)的問(wèn)題 的文章就介紹到這了,更多相關(guān)OpenCsv導(dǎo)入大數(shù)據(jù)量報(bào)錯(cuò)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
通常使用TOF等3d攝像頭采集的格式一般只是深度圖,下面這篇文章主要給大家介紹了關(guān)于如何基于Python深度圖生成3D點(diǎn)云的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-12-12
python 拷貝特定后綴名文件,并保留原始目錄結(jié)構(gòu)的實(shí)例
下面小編就為大家分享一篇python 拷貝特定后綴名文件,并保留原始目錄結(jié)構(gòu)的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-04-04
在本篇文章里小編給大家整理的是一篇關(guān)于python中reload重載實(shí)例用法相關(guān)知識(shí)點(diǎn)，有興趣的朋友們可以參考下。2020-12-12
深入探索Python解碼神器Chardet自動(dòng)檢測(cè)文本編碼
Chardet,洞察編碼的清晰水晶球,一個(gè)讓你與編碼不再“失聯(lián)”的神器,本文帶大家走近這個(gè)隱藏在Python工具箱中的小寶貝,探索它的秘密2024-01-01
python導(dǎo)入csv文件出現(xiàn)SyntaxError問(wèn)題分析
這篇文章主要介紹了python導(dǎo)入csv文件出現(xiàn)SyntaxError問(wèn)題分析，同時(shí)涉及python導(dǎo)入csv文件的三種方法，具有一定借鑒價(jià)值，需要的朋友可以參考下。2017-12-12
Python數(shù)據(jù)分析與處理(一)--北京高考分?jǐn)?shù)線(xiàn)統(tǒng)計(jì)分析
這篇文章主要介紹了Python數(shù)據(jù)分析與處理北京高考分?jǐn)?shù)線(xiàn)統(tǒng)計(jì)分析，文章問(wèn)繞Python數(shù)據(jù)分析與處理相關(guān)資料的介紹，展開(kāi)對(duì)北京高考分?jǐn)?shù)線(xiàn)統(tǒng)計(jì)分析，需要的小伙伴可以參考一下2021-12-12
在本篇內(nèi)容里小編給大家整理的是一篇關(guān)于python如何運(yùn)行js語(yǔ)句的相關(guān)內(nèi)容，有興趣的朋友們可以參考下。2020-09-09
在本篇文章里小編給大家分享的是關(guān)于python文件讀取失敗怎么處理的相關(guān)文章，需要的朋友們參考下。2020-06-06
python實(shí)現(xiàn)尋找最長(zhǎng)回文子序列的方法
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)尋找最長(zhǎng)回文子序列的方法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-06-06
使用Python編程分析火爆全網(wǎng)的魷魚(yú)游戲豆瓣影評(píng)
本文來(lái)為大家介紹如何使用Python爬取影評(píng)的操作，主要是爬取《魷魚(yú)游戲》在豆瓣上的一些影評(píng)，對(duì)數(shù)據(jù)做一些簡(jiǎn)單的分析，用數(shù)據(jù)的角度重新審視下這部劇，有需要的朋友可以借鑒參考下2021-10-10