Rust很適合寫命令行工具，特別是使用clap crate 更加方便，這篇文章介紹使用rust寫一個jar包class沖突檢測的工具。項目地址: https://github.com/Aitozi/jar_conflict_detector

首先jar包class沖突的現(xiàn)象是多個jar包中有同名的class，并且class的md5還不一樣，那么就意味著該class存在多個版本，那么就存在沖突的可能。

思路比較簡單，就是遍歷每個jar包，記錄ClassName 和 對應(yīng) CRC 校驗碼 及 jar 包的對應(yīng)關(guān)系。

通過clap的derive api就可以快速定義個命令行的參數(shù)解析器。

#[derive(Parser, Debug)]
#[command(author, version, about, long_about = None)]
struct Args {
#[arg(
short,
long = "jars",
required = true,
help = "The jar list joined by semicolon"
)]
jar_list: String,
#[arg(long, help = "Disable the crc check", action = clap::ArgAction::SetTrue)]
#[arg(default_value_t = false)]
disable_crc: bool,
#[arg(short, long, action = clap::ArgAction::Append, help = "The exclude package prefix")]
exclude: Vec<String>,
}

通過zip讀取jar包中的entry, 過濾只處理.class文件，并從zip_file中讀取crc32的元數(shù)據(jù)，這樣可以避免讀取原始數(shù)據(jù)生成md5，可以大大加快處理速度。
中間編寫的時候遇到了一個常見的rust borrow checker的問題。

以下代碼為例

fn main() {
let path = "/tmp/a.jar";
let jar = File::open(path).unwrap();
let mut zip = ZipArchive::new(jar).unwrap();


for name in zip.file_names() {
let entry = zip.by_name(name);
println!("name: {}, size: {}", name, entry.unwrap().size());
}
}

我是想通過遍歷ZipArchive#file_names然后根據(jù)文件名獲取ZipFile但是會有如下編譯錯誤

pub fn file_names(&self) -> impl Iterator<Item = &str> {
self.shared.names_map.keys().map(|s| s.as_str())
}

/// Search for a file entry by name
pub fn by_name<'a>(&'a mut self, name: &str) -> ZipResult<ZipFile<'a>> {
Ok(self.by_name_with_optional_password(name, None)?.unwrap())
}

但是用以下的方式就沒有問題

let path = "/tmp/a.jar";
let jar = File::open(path).unwrap();
let mut zip = ZipArchive::new(jar).unwrap();

for i in 0..zip.len() {
let entry = zip.by_index(i).unwrap();
println!("name: {}, size: {}", entry.name(), entry.size());
}

這里我比較奇怪的是從方法簽名上看 len() 和 file_names()都會發(fā)生immutable borrow，而后面by_index 和 by_name都會發(fā)生mutable borrow。為什么會一個可以通過檢查，一個不行。

pub fn len(&self) -> usize {
self.shared.files.len()
}

len函數(shù)實際的簽名應(yīng)該是fn len<'a>(&'a self) -> usize 返回值是usize，所以函數(shù)調(diào)用完成后就不再和借用有關(guān)了。所以 immutable borrow 就結(jié)束了。
而file_names實際簽名是fn file_names<'a>(&'a self) -> impl Iterator<Item = &'a str> {…}返回值的生命周期和 入?yún)⒌?immutable ref周期相同，所以后續(xù)就檢測出同時存在可變和不可變引用了。

詳細(xì)解釋: https://users.rust-lang.org/t/borrow-check-understanding/94260/2

命令行頻繁被Killed問題

問題現(xiàn)象是當(dāng)使用cargo build打包出binary后，通過cp 到 /tmp/jcd執(zhí)行 會出現(xiàn) Killed的情況，不是必現(xiàn)，但是當(dāng)出現(xiàn)之后后續(xù)就一直會這樣，百思不得其解。

$ /tmp/jcd
[1] 16957 killed /tmp/jcd

后通過在rust user 論壇提問找到答案，不得不說回復(fù)效率很高。
https://users.rust-lang.org/t/rust-command-line-tools-keeps-beeing-killed/94179原因應(yīng)該是和蘋果電腦上的 Code sign機制有關(guān)，在蘋果沒有解決這個問題之前，建議通過ditto替代cp命令來copy程序。

經(jīng)過檢查系統(tǒng)日志確實有出現(xiàn) Code Signature Invalid的報錯

相同的Class CRC和MD5卻不一樣

問題是發(fā)現(xiàn)在集成這個工具到內(nèi)部的插件框架中，集成過程中發(fā)現(xiàn)一個Jar包被另一個module依賴，經(jīng)過shade插件打包(沒有對相關(guān)class進(jìn)行relocate) 后，生成的class crc32不同，被識別為會沖突的類。通過javap -v 查看兩個class對比發(fā)現(xiàn)里面的僅僅是一些constant pool 不同。

那么懷疑就是maven-shade-plugin 做了什么操作，翻閱了下代碼，查看了shade的處理流程.

看到以下這段，發(fā)現(xiàn)這不就是我遇到的問題么。

查閱了相應(yīng)的issue: https://issues.apache.org/jira/browse/MSHADE-391在3.3.0 才解決，而我使用的版本正好是3.2.4。升級插件重新生成校驗碼一致了。

解決沖突的Class

最后再回到最初的目的，當(dāng)我們通過工具檢測出沖突的class應(yīng)該怎么解決呢。

首先我們需要判斷這個class是否是運行時所需要的。

如果不是所需要的那么我們就應(yīng)該直接排掉他，排除有兩種手段(這里針對的是maven shade的打包方式)，如果在dependency tree中可以看到相應(yīng)package的依賴，那么可以直接通過如下的白名單 include 或者 exclude 掉某個 artifact。

<artifactSet combine.self="override">
<includes>
<include>commons-dbcp:commons-dbcp</include>
<include>commons-pool:commons-pool</include>
<include>mysql:mysql-connector-java</include>
</includes>
</artifactSet>

但是不排除這個依賴包本身就是fatjar，那么直接通過這種方式就排不掉這個依賴，可以通過filters 配置文件 粒度的匹配過濾

<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
<exclude>javax/**</exclude>
<exclude>org/apache/flink/fnexecution/**</exclude>
<exclde>org/slf4j/**</exclde>
</excludes>
</filter>
</filters>

如果這個沖突的class是運行時需要的，那么可以通過relocation的方式給各自的插件包中shade成帶特殊前綴的class名，解決同名沖突。

<relocation>
<pattern>org.apache.http</pattern>
<shadedPattern>com.alipay.flink.sls.shaded.org.apache.http</shadedPattern>
</relocation>

到此這篇關(guān)于用rust 寫一個jar包 class沖突檢測工具 的文章就介紹到這了,更多相關(guān)rust 寫jar包 class沖突檢測工具 內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論