Java emoji持久化mysql過(guò)程詳解
前言
好久沒(méi)有更新博客了,今天和大家分享一個(gè)關(guān)于emoji表情持久化問(wèn)題,相信做web開(kāi)發(fā)的都遇到過(guò)這樣的問(wèn)題,因?yàn)槲覀冎續(xù)ysql的utf-8字符集保存不了保存不了表情字符,這是為什么呢?因?yàn)槠胀ǖ淖址蛘弑砬槎际钦嘉?個(gè)字節(jié),所以u(píng)tf8足夠用了,但是移動(dòng)端的表情符號(hào)占位是4個(gè)字節(jié),普通的utf8就不夠用了,為了應(yīng)對(duì)無(wú)線(xiàn)互聯(lián)網(wǎng)的機(jī)遇和挑戰(zhàn)、避免 emoji 表情符號(hào)帶來(lái)的問(wèn)題、涉及無(wú)線(xiàn)相關(guān)的 MySQL 數(shù)據(jù)庫(kù)建議都提前采用 utf8mb4 字符集,這必須要作為移動(dòng)互聯(lián)網(wǎng)行業(yè)的一個(gè)技術(shù)選型的要點(diǎn)。
好了看到上面的結(jié)果你是不是已經(jīng)去修改數(shù)據(jù)庫(kù)字符集了,如果你是個(gè)人項(xiàng)目或小項(xiàng)目上面的方法倒是一個(gè)解決方法,但是對(duì)于一個(gè)目前正在服務(wù)5000W用戶(hù)的系統(tǒng),上面的方式就有點(diǎn)不合適了,針對(duì)這種情況我這邊總結(jié)了三種處理方式,下面分享給大家:
1、既然是由于移動(dòng)端的表情符號(hào)占位是4個(gè)字節(jié),那我們直接把數(shù)據(jù)轉(zhuǎn)換后保存。
1.URLEncoder.encode(String s, String enc)
使用指定的編碼機(jī)制將字符串轉(zhuǎn)換為 application/x-www-form-urlencoded 格式
URLDecoder.decode(String s, String enc)
使用指定的編碼機(jī)制對(duì) application/x-www-form-urlencoded 字符串解碼。
2、方法一的處理太粗躁,有沒(méi)有更好的解決辦法呢?使用輕量級(jí)工具emoji-java處理emoji表情字符
github地址:https://github.com/vdurmont/emoji-java
具體使用方式,大家可以進(jìn)入git中自行查看。
3、有了上面兩種方式,你是不是已經(jīng)滿(mǎn)足了,最為自己最推崇的emoji處理方式,下面才是重點(diǎn),首先說(shuō)一下上面兩種方式存在的問(wèn)題:第一種方式,數(shù)據(jù)經(jīng)過(guò)轉(zhuǎn)換,相當(dāng)于加密,我們將無(wú)法直接查看到數(shù)據(jù)的原始內(nèi)容,由其對(duì)于需要進(jìn)行搜索的業(yè)務(wù)場(chǎng)景,將是一件很困難的事情;第二種方式,雖然避免了第一種方式存在的問(wèn)題,但是它基于表情的對(duì)照表進(jìn)行匹配轉(zhuǎn)換的,也就意味著對(duì)于一些新表情,無(wú)法做到轉(zhuǎn)換,這就會(huì)導(dǎo)致我們數(shù)據(jù)插入繼續(xù)出現(xiàn)問(wèn)題,這是它第一個(gè)問(wèn)題,第二點(diǎn)在于它將表情轉(zhuǎn)化為對(duì)應(yīng)的匹配規(guī)則,說(shuō)白一點(diǎn)就是轉(zhuǎn)化為英文描述,就是這個(gè)轉(zhuǎn)化,原本4個(gè)字節(jié)的表情,它可能給你轉(zhuǎn)成了10個(gè)字節(jié)甚至更多。好了說(shuō)了這么多下面我們看一下我最后的終極解決方法:
/**
* @Author: gaoshang
* @Description:
* @Date: 2019/7/19
*/
public class EmojiUtil {
/**
* 將文本中的表情轉(zhuǎn)為十六進(jìn)制
* <p>
*
* @param input
* @return
*/
public static String parseFromAliases(String input) {
if (input == null) {
return input;
}
return stringToUnicode(input);
}
/**
* 將文本中的十六進(jìn)制轉(zhuǎn)為表情
* <p>
*
* @param input
* @return
*/
public static String parseToAliases(String input) {
if (input == null) {
return input;
}
return unicodeToString(input);
}
/**
* 字符串轉(zhuǎn)unicode
*
* @param str
* @return
*/
public static String stringToUnicode(String str) {
StringBuilder sb = new StringBuilder();
StringBuilder cacheSB = new StringBuilder();
char[] c = str.toCharArray();
for (int i = 0; i < c.length; i++) {
if (!isEmojiCharacter(c[i])) {
if (cacheSB.length() > 0) {
sb.append("\\u").append(cacheSB);
cacheSB.delete(0, cacheSB.length());
}
sb.append("\\u").append("[").append(Integer.toHexString(c[i])).append("]");
} else {
if (c[i] == '[' || c[i] == '\\' || c[i] == ']') {
if (cacheSB.length() > 0) {
sb.append("\\u").append(cacheSB);
cacheSB.delete(0, cacheSB.length());
}
sb.append("\\u").append(c[i]);
} else {
cacheSB.append(c[i]);
}
}
}
if (cacheSB.length() > 0) {
if (sb.length() > 0) {
sb.append("\\u");
}
sb.append(cacheSB);
}
return sb.toString();
}
/**
* unicode轉(zhuǎn)字符串
*
* @param unicode
* @return
*/
public static String unicodeToString(String unicode) {
StringBuilder sb = new StringBuilder();
String[] hex = unicode.split("\\\\u");
for (int i = 0; i < hex.length; i++) {
if (hex[i].indexOf("[") == 0 && hex[i].indexOf("]") == hex[i].length() - 1) {
try {
int index = Integer.parseInt(hex[i].substring(1, hex[i].length() - 1), 16);
sb.append((char) index);
} catch (NumberFormatException e) {
sb.append(hex[i]);
}
} else {
sb.append(hex[i]);
}
}
return sb.toString();
}
private static boolean isEmojiCharacter(char codePoint) {
return (codePoint == 0x0) || (codePoint == 0x9) || (codePoint == 0xA)
|| (codePoint == 0xD)
|| ((codePoint >= 0x20) && (codePoint <= 0xD7FF))
|| ((codePoint >= 0xE000) && (codePoint <= 0xFFFD))
|| ((codePoint >= 0x10000) && (codePoint <= 0x10FFFF));
}
}
好了就先這樣,歡迎大家提出不同的看法,已經(jīng)好的解決方案。
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Spring如何按業(yè)務(wù)模塊輸出日志到不同的文件詳解
最近做項(xiàng)目時(shí)有一個(gè)記錄操作日志的需求,比如某個(gè)用戶(hù)進(jìn)行了查詢(xún)、刪除、修改等操作,下面這篇文章主要給大家介紹了關(guān)于Spring如何按業(yè)務(wù)模塊輸出日志到不同文件的相關(guān)資料,需要的朋友可以參考下2022-05-05
Java解析zip文件,并識(shí)別壓縮包里面的文件轉(zhuǎn)換成可操作的IO流方式
這篇文章主要介紹了Java解析zip文件,并識(shí)別壓縮包里面的文件轉(zhuǎn)換成可操作的IO流方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-08-08
JAVA實(shí)現(xiàn)遍歷文件夾下的所有文件(遞歸調(diào)用和非遞歸調(diào)用)
本篇文章主要介紹了JAVA 遍歷文件夾下的所有文件(遞歸調(diào)用和非遞歸調(diào)用) ,具有一定的參考價(jià)值,有興趣的可以了解一下。2017-01-01
Java使用Tessdata做OCR圖片文字識(shí)別的詳細(xì)思路
這篇文章主要介紹了Java使用Tessdata做OCR圖片文字識(shí)別的詳細(xì)思路,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-07-07
UrlDecoder和UrlEncoder使用詳解_動(dòng)力節(jié)點(diǎn)Java學(xué)院整理
這篇文章主要為大家詳細(xì)介紹了UrlDecoder和UrlEncoder使用方法,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-07-07
springboot工程jar包部署到云服務(wù)器的方法
這篇文章主要介紹了springboot工程jar包部署到云服務(wù)器的方法,本文通過(guò)實(shí)例介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2018-05-05
Spring 與 JDK 線(xiàn)程池的簡(jiǎn)單使用示例詳解
這篇文章主要介紹了Spring 與 JDK 線(xiàn)程池的簡(jiǎn)單使用,本文通過(guò)示例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-09-09

