SpringBoot數(shù)據(jù)壓縮實(shí)踐方案

更新時(shí)間：2025年10月09日 08:48:25 作者：請叫我頭頭哥

文章探討了Redis中處理大key的壓縮方案,包括拆分JSON結(jié)構(gòu)、使用GZIP/Deflater壓縮、優(yōu)化體積（如移除空格、縮短鍵名）、流式處理及分段存儲(chǔ),旨在降低內(nèi)存負(fù)擔(dān)并提升性能,感興趣的朋友跟隨小編一起看看吧

最近在使用Redis的時(shí)候，經(jīng)常遇到一些不常用的大key，對存儲(chǔ)有一些負(fù)擔(dān)。就想著把大key壓縮一下。壓縮可以分很多種，比如拆分JSON字符串?， ??壓縮JSON字符串?，優(yōu)化JSON體積?，流式處理大型JSON?和分段存儲(chǔ)。

拆分JSON字符串?

1.1按結(jié)構(gòu)拆分?

數(shù)組拆分??：若JSON包含大型數(shù)組，可將其拆分為多個(gè)小數(shù)組。

// 示例：將大數(shù)組拆分為多個(gè)子數(shù)組
JSONArray bigArray = new JSONArray(jsonString);
int chunkSize = 100;
for (int i = 0; i < bigArray.length(); i += chunkSize) {
    JSONArray chunk = new JSONArray();
    for (int j = i; j < Math.min(i + chunkSize, bigArray.length()); j++) {
        chunk.put(bigArray.get(j));
    }
    String chunkJson = chunk.toString();
    // 處理或保存chunkJson
}

??對象拆分??：若JSON是嵌套對象，可按層級(jí)拆分為子對象。

1.2按大小拆分（流式處理）??

使用流式API（如Jackson的JsonParser）逐塊讀取JSON內(nèi)容，避免一次性加載到內(nèi)存：

JsonFactory factory = new JsonFactory();
try (JsonParser parser = factory.createParser(new File("large.json"))) {
    while (parser.nextToken() != null) {
        // 逐Token處理，如按特定條件拆分
    }
}

壓縮JSON字符串?

2.1使用GZIP壓縮?

import java.util.zip.GZIPOutputStream;
import java.io.ByteArrayOutputStream;
public static byte[] compress(String data) throws IOException {
    ByteArrayOutputStream bos = new ByteArrayOutputStream(data.length());
    try (GZIPOutputStream gzip = new GZIPOutputStream(bos)) {
        gzip.write(data.getBytes());
    }
    return bos.toByteArray();
}
// 壓縮后的數(shù)據(jù)可用于傳輸或存儲(chǔ)
byte[] compressed = compress(jsonString);

2.2使用Deflater壓縮?

import java.util.zip.Deflater;
public static byte[] deflateCompress(String data) {
    Deflater deflater = new Deflater();
    deflater.setInput(data.getBytes());
    deflater.finish();
    byte[] buffer = new byte[1024];
    ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
    while (!deflater.finished()) {
        int count = deflater.deflate(buffer);
        outputStream.write(buffer, 0, count);
    }
    deflater.end();
    return outputStream.toByteArray();
}

優(yōu)化JSON體積??

3.1移除無用空格?

使用緊湊格式（無縮進(jìn)、換行）：

new JSONObject(jsonString).toString(); // 默認(rèn)緊湊格式

3.2??縮短鍵名?

將長字段名替換為短名稱：

{"n":"Alice","a":30} // 原始鍵名可能為"name"、"age"

流式處理大型JSON??

使用流式API逐步解析，避免內(nèi)存溢出：

// Jackson流式API示例
JsonFactory factory = new JsonFactory();
try (JsonParser parser = factory.createParser(new File("large.json"))) {
    JsonToken token;
    while ((token = parser.nextToken()) != null) {
        if (token == JsonToken.START_ARRAY) {
            while (parser.nextToken() != JsonToken.END_ARRAY) {
                // 逐條處理數(shù)組元素
                JsonNode node = parser.readValueAsTree();
                // 處理node...
            }
        }
    }
}

分頁處理?

其實(shí)也是拆分，將數(shù)據(jù)拆成若干份

實(shí)踐方案

import com.fasterxml.jackson.databind.JsonNode;
import com.fasterxml.jackson.databind.ObjectMapper;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.util.zip.GZIPInputStream;
import java.util.zip.GZIPOutputStream;
import org.apache.commons.codec.binary.Base64;
import java.nio.charset.StandardCharsets;
public class CompressHelper {
    private static final ObjectMapper objectMapper = new ObjectMapper();
    /**
     * 方式1：去除JSON中的空格/換行等冗余字符（文本壓縮）
     * @param formattedJson 格式化的JSON字符串（含空格換行）
     * @return 緊湊格式的JSON字符串
     * @throws IOException JSON解析異常
     */
    public static String compressJsonByRemovingSpaces(String formattedJson) throws IOException {
        JsonNode jsonNode = objectMapper.readTree(formattedJson);
        return objectMapper.writeValueAsString(jsonNode);
    }
    /**
     * 方式2：使用GZIP算法對JSON字符串進(jìn)行二進(jìn)制壓縮（適合網(wǎng)絡(luò)傳輸）
     * @param json 原始JSON字符串
     * @return Base64編碼的壓縮后字符串（可直接傳輸）
     * @throws IOException 壓縮異常
     */
    public static String compressJsonByGzip(String json) throws IOException {
        try (ByteArrayOutputStream byteOut = new ByteArrayOutputStream();
             GZIPOutputStream gzipOut = new GZIPOutputStream(byteOut)) {
            gzipOut.write(json.getBytes("UTF-8"));
            gzipOut.finish();
            return Base64.encodeBase64String(byteOut.toByteArray());
        }
    }
    public static String decompressJson(String source) throws IOException {
        byte[] compressedData = Base64.decodeBase64(source);
        try (ByteArrayInputStream byteIn = new ByteArrayInputStream(compressedData);
             GZIPInputStream gzipIn = new GZIPInputStream(byteIn);
             ByteArrayOutputStream byteOut = new ByteArrayOutputStream()) {
            // 讀取壓縮數(shù)據(jù)并解壓縮
            byte[] buffer = new byte[1024];
            int len;
            while ((len = gzipIn.read(buffer)) != -1) {
                byteOut.write(buffer, 0, len);
            }
            return byteOut.toString(StandardCharsets.UTF_8.name());
        }
    }
}