Java進(jìn)行文件格式校驗(yàn)的方案詳解
一、背景
異?,F(xiàn)象
很長(zhǎng)一段時(shí)間以來,前后端都是根據(jù)擴(kuò)展名判斷文件類型,但近期發(fā)現(xiàn)用戶上傳的.jpg格式圖片存在解析異常的問題。拿到原圖后測(cè)試發(fā)現(xiàn):
- Windows 10 原生圖片查看器提示文件損壞
- 主流瀏覽器(Chrome/Firefox)可正常渲染
- Windows 11 原生查看器正常顯示
原因排查
這不禁讓筆者感到好奇,于是打開二進(jìn)制格式檢查了下文件頭,發(fā)現(xiàn)這些文件的 Magic Number 對(duì)應(yīng)的并不是 JPEG 格式,而是 AVIF (文件頭:6674797061766966),一種較新的圖片格式。
用戶的無心之過
從用戶視角來看,用戶上傳.avif圖片時(shí)發(fā)現(xiàn)系統(tǒng)不支持上傳,于是手動(dòng)修改圖片后綴為.jpg(用戶以為改了擴(kuò)展名就相當(dāng)于改了文件格式),繞過了前端校驗(yàn),而且由于瀏覽器強(qiáng)大的兼容能力,用戶上傳后發(fā)現(xiàn)在瀏覽器上能正常預(yù)覽圖片,便認(rèn)為自己的操作是合理的。而后,后端解碼失敗。這些用戶并非惡意攻擊者,而是因系統(tǒng)未兼容新型圖片格式采取的無奈之舉。
二、解決方案
除了判斷文件擴(kuò)展名之外,還可以進(jìn)行文件頭校驗(yàn)和內(nèi)容特征解析
Magic Number判斷
魔數(shù)指的是文件開頭的一串特定的字節(jié)序列,相較于文件擴(kuò)展名,魔數(shù)更能有效識(shí)別文件類型。魔數(shù)沒有固定長(zhǎng)度,大部分文件類型的魔數(shù)不同,但也有少量文件類型有相同魔數(shù)
| 文件類型 | 文件頭 | 文件尾 |
|---|---|---|
| jpeg(jpg) | FF D8 | FF D9 |
| png | 89 50 4E 47 0D 0A 1A 0A | |
| bmp | 42 4d | |
| gif | 47 49 46 38 39 61 | |
| tiff | 4d 4d 或 49 49 | |
| zip/xlsx/pptx/docx | 50 4B 03 04 |
少量文件類型的判斷,可以直接校驗(yàn)文件頭。比如若只允許用戶上傳jpg/png格式的圖片,實(shí)現(xiàn)如下:
@Getter
public enum MimeTypeEnum {
IMAGE_JPEG("image/jpeg", "FFD8", "FFD9"),
IMAGE_PNG("image/png", "89504E470D0A1A0A", null),
IMAGE_BMP("image/bmp", "424D", null),
;
private final String mimeType;
private final byte[] header; // 文件頭
private final byte[] footer; // 文件尾
MimeTypeEnum(String mimeType, String header, String footer) {
this.mimeType = mimeType;
this.header = header == null ? null : DatatypeConverter.parseHexBinary(header);
this.footer = footer == null ? null : DatatypeConverter.parseHexBinary(footer);
}
public static final Set<MimeTypeEnum> whiteList = Sets.newHashSet(IMAGE_JPEG, IMAGE_PNG);
}
public static void test(MultipartFile mFile) throws Exception {
MimeTypeEnum mimeType = detectMimeType(mFile);
Assert.isTrue(MimeTypeEnum.whiteList.contains(mimeType), "不支持文件類型:" + mimeType);
}
public static MimeTypeEnum detectMimeType(MultipartFile multipartFile) throws IOException {
try (InputStream inputStream = multipartFile.getInputStream()) {
byte[] header = new byte[8]; // 讀取前 8 個(gè)字節(jié)
byte[] footer = new byte[2];// 讀取后 2 個(gè)字節(jié)
inputStream.read(header);
inputStream.skip(multipartFile.getSize() - 2 - 8);
inputStream.read(footer);
for (MimeTypeEnum mimeTypeEnum : MimeTypeEnum.values()) {
if (matchMagicNumber(header, footer, mimeTypeEnum)) {
return mimeTypeEnum;
}
}
}
return null;
}
private static boolean matchMagicNumber(byte[] header, byte[] footer, MimeTypeEnum mimeType) {
// 檢查文件頭
if (!Arrays.equals(mimeType.getHeader(), Arrays.copyOf(header, mimeType.getHeader().length))) {
return false;
}
// 檢查文件尾
if (mimeType.getFooter() != null) {
return Arrays.equals(mimeType.getFooter(), footer);
}
return true;
}
注意,zip/xlsx/pptx/docx的魔數(shù)都是相同的,無法用魔數(shù)精確分辨。具體方法后面說
主流檢測(cè)庫(kù)對(duì)比
常見的文件類型極多,手動(dòng)維護(hù)魔數(shù)判斷繁瑣,目前已有許多文件類型校驗(yàn)庫(kù),沒必要重復(fù)造輪子了
| 庫(kù)名稱 | 格式覆蓋 | 文件類型明細(xì) |
|---|---|---|
| Tika | >1k | org/apache/tika/mime/tika-mimetypes.xml |
| JMimeMagic | >100 | src/main/resources/magic.xml |
Tika的使用
Tika支持的文件類型最多,由Apache維護(hù)并跟進(jìn)最新文件格式。在 tika-mimetypes.xml 中有筆者需要的.avif格式
<mime-type type="image/avif">
<!-- According to https://github.com/libvips/libvips/pull/1657
older avif used to use the the heif 'ftypmif1' as well -->
<_comment>AV1 Image File</_comment>
<acronym>AVIF</acronym>
<tika:link>https://en.wikipedia.org/wiki/AV1#AV1_Image_File_Format_(AVIF)</tika:link>
<magic priority="60">
<match value="ftypavif" type="string" offset="4"/>
</magic>
<glob pattern="*.avif"/>
</mime-type>
引入pom依賴后,通過detect方法判斷出mimeType,示例代碼如下:
public void test(MultipartFile file) {
String mimeType = new Tika().detect(file.getInputStream());
log.info(mimeType) // image/avif
}
tika返回的mimeType(Multipurpose Internet Mail Extensions),用于標(biāo)識(shí)互聯(lián)網(wǎng)上傳輸?shù)奈募愋秃透袷剑R姷膍imeType如下:
| 擴(kuò)展名 | MIME 類型 |
|---|---|
| .jpeg, .jpg | image/jpeg |
| .png | image/png |
| .avif | image/avif |
| .gif | image/gif |
| .mp4 | video/mp4 |
| application/pdf | |
| .ppt | application/vnd.ms-powerpoint |
| .pptx | application/vnd.openxmlformats-officedocument.presentationml.presentation |
| .doc | application/msword |
| .docx | application/vnd.openxmlformats-officedocument.wordprocessingml.document |
| .xls | application/vnd.ms-excel |
| .xlsx | application/vnd.openxmlformats-officedocument.spreadsheetml.sheet |
區(qū)分zip/xlsx/pptx/docx
由于xlsx/pptx/docx魔數(shù)相同,都是ooxml(Office Open XML File Formats),Tika只能識(shí)別為application/x-tika-ooxml,因此需要額外讀取實(shí)際內(nèi)容判斷其類型。如果將文件修改擴(kuò)展名為zip,就可以發(fā)現(xiàn)Excel的實(shí)際文件目錄如下,我們可以通過workbook.xml識(shí)別其為excel。其他格式同理。
│ [Content_Types].xml
│
│───_rels
│ .rels
│
├───docProps
│ app.xml
│ core.xml
│
└───xl
│ sharedStrings.xml
│ styles.xml
│ workbook.xml
│
├───_rels
│ workbook.xml.rels
│
└───worksheets
sheet1.xml

檢測(cè)代碼如下:
/* 文件類型白名單 */
public static List<String> mimeTypeWhiteList = Arrays.asList(
"image/jpeg",
"image/png");
public void test(MultipartFile multipartFile) throws Exception {
String mimeType = new Tika().detect(file.getInputStream());
if ("application/x-tika-ooxml".equals(mimeType)) {
mimeType = detectOOXML(file);
}
log.info(mimeType);
Assert.isTrue(mimeTypeWhiteList.contains(mimeType), "不支持文件類型:" + mimeType);
}
/**
* 解析ooxml(Office Open XML File Formats)
*/
private String detectOOXML(File file) throws IOException {
try (ZipFile zipFile = new ZipFile(file)) {
if (zipFile.getEntry("word/document.xml") != null) {
return "application/vnd.openxmlformats-officedocument.wordprocessingml.document";
}
if (zipFile.getEntry("xl/workbook.xml") != null) {
return "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet";
}
if (zipFile.getEntry("ppt/presentation.xml") != null) {
return "application/vnd.openxmlformats-officedocument.presentationml.presentation";
}
}
return "application/zip";
}
區(qū)分xls/ppt/doc
xls/ppt/doc是Microsoft Office的早期版本,使用二進(jìn)制文件格式,讀取文件內(nèi)容可以進(jìn)行大致識(shí)別。
private static String detectMsOffice(InputStream inputStream) throws Exception {
byte[] buffer = new byte[1024 * 10];
while (inputStream.read(buffer) != -1) { // todo 滑動(dòng)窗口優(yōu)化
if (containsSubArray(buffer, "Excel".getBytes())) {
return "application/vnd.ms-excel";
}
if (containsSubArray(buffer, "PowerPoint".getBytes())) {
return "application/vnd.ms-powerpoint";
}
if (containsSubArray(buffer, "Office Word".getBytes())) {
return "application/msword";
}
}
return "unknown";
}
然而讀取文件內(nèi)容進(jìn)行識(shí)別并不一定準(zhǔn)確,如下圖,假如在excel中輸入"PowerPoint"就可能被識(shí)別為ppt。所以目前三者之間并沒有精確識(shí)別的辦法。

三、總結(jié)
文件擴(kuò)展名校驗(yàn)雖然不夠準(zhǔn)確,但實(shí)現(xiàn)起來簡(jiǎn)單,能滿足大部分情況(畢竟修改擴(kuò)展名的用戶只是極少數(shù)),適合作為短期方案。但長(zhǎng)期來看還是推薦組合校驗(yàn)(擴(kuò)展名+魔數(shù)+內(nèi)容),能更精確識(shí)別文件類型。
到此這篇關(guān)于Java進(jìn)行文件格式校驗(yàn)的方案詳解的文章就介紹到這了,更多相關(guān)Java文件格式校驗(yàn)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
SpringBoot測(cè)試WebMVC的4種實(shí)現(xiàn)方案
在項(xiàng)目開發(fā)中,測(cè)試是確保應(yīng)用質(zhì)量的關(guān)鍵環(huán)節(jié),對(duì)于基于SpringBoot構(gòu)建的Web應(yīng)用,高效測(cè)試MVC層可以極大提高開發(fā)及聯(lián)調(diào)效率,下面我們來看看SpringBoot中測(cè)試WebMVC的4種實(shí)現(xiàn)方案吧2025-04-04
Spring?IOC?xml方式進(jìn)行工廠Bean操作詳解
這篇文章主要介紹了Spring?IOC?xml方式進(jìn)行工廠Bean操作,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)吧2023-01-01
redis.clients.jedis.exceptions.JedisAskDataException異常解決
redis.clients.jedis.exceptions.JedisAskDataExceptio異常是在使用Jedis客戶端與Redis集群交互時(shí)遇到的一種重定向異常,本文就來介紹一下解決方法,感興趣的可以了解一下2024-05-05
關(guān)于jvm的垃圾回收器以及觸發(fā)full gc的場(chǎng)景
這篇文章主要介紹了關(guān)于jvm的垃圾回收器以及觸發(fā)full gc的場(chǎng)景,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-04-04
深入Spring Boot之ClassLoader的繼承關(guān)系和影響
這篇文章主要介紹了深入Spring Boot之ClassLoader的繼承關(guān)系和影響,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-06-06
Java ServletContext對(duì)象用法解析
這篇文章主要介紹了Java ServletContext對(duì)象用法解析,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-05-05
SpringCloud整合Consul的實(shí)現(xiàn)
這篇文章主要介紹了SpringCloud整合Consul的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01

