快捷導(dǎo)航

crawler4j抓取頁(yè)面使用jsoup解析html時(shí)的解決方法

更新時(shí)間：2014年04月08日 09:11:07 作者：

crawler4j對(duì)response沒(méi)有指定編碼的頁(yè)面，解析成亂碼，很讓人煩惱,下面給出解決方法,需要的朋友可以參考下

crawler4j對(duì)已有編碼的頁(yè)面抓取效果不錯(cuò)，用jsoup解析，很多會(huì)jquery的程序員都可以操作。但是，crawler4j對(duì)response沒(méi)有指定編碼的頁(yè)面，解析成亂碼，很讓人煩惱。在找了苦悶之中，無(wú)意間發(fā)現(xiàn)一年代已久的博文，可以解決問(wèn)題，修改 Page.load() 中的 contentData 編碼即可，這讓我心中頓時(shí)舒坦了很多，接下來(lái)的問(wèn)題都引刃而解了。

復(fù)制代碼代碼如下:

public void load(HttpEntity entity) throws Exception {
 contentType = null;  
    Header type = entity.getContentType();  
    if (type != null) {  
        contentType = type.getValue();  
    }  

    contentEncoding = null;  
    Header encoding = entity.getContentEncoding();  
    if (encoding != null) {  
        contentEncoding = encoding.getValue();  
    }  

    Charset charset = ContentType.getOrDefault(entity).getCharset();  
    if (charset != null) {  
        contentCharset = charset.displayName();   
    }else{
     contentCharset = "utf-8";
    }

   //源碼
   //contentData = EntityUtils.toByteArray(entity);  
    //修改后的代碼
    contentData = EntityUtils.toString(entity, Charset.forName("gbk")).getBytes();

}

您可能感興趣的文章:

相關(guān)文章

Mybatis解決找不到get方法
這篇文章主要介紹了Mybatis解決找不到get方法問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2024-08-08
JAVA動(dòng)態(tài)代理模式（從現(xiàn)實(shí)生活角度理解代碼原理）
本文主要介紹了JAVA動(dòng)態(tài)代理模式（從現(xiàn)實(shí)生活角度理解代碼原理）的相關(guān)知識(shí)。具有很好的參考價(jià)值。下面跟著小編一起來(lái)看下吧
2017-03-03
Java異步編程工具Twitter?Future詳解
這篇文章主要介紹了Java異步編程工具Twitter?Future詳解,包括基本用法示例代碼，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2022-05-05
spring Mvc配置xml使ResponseBody返回Json的方法示例
這篇文章主要給大家介紹了關(guān)于spring Mvc配置xml使ResponseBody返回Json的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧。
2018-04-04
Spring boot使用多線程過(guò)程步驟解析
這篇文章主要介紹了Spring boot使用多線程過(guò)程步驟解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-07-07
mybatis使用@mapkey獲取的結(jié)果的鍵(key)為null問(wèn)題
這篇文章主要介紹了mybatis使用@mapkey獲取的結(jié)果的鍵(key)為null問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2024-06-06
基于@JsonFormat的導(dǎo)包問(wèn)題
這篇文章主要介紹了關(guān)于@JsonFormat的導(dǎo)包問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2021-08-08
java字符串與格式化輸出的深入分析
本篇文章是對(duì)java字符串與格式化輸出進(jìn)行了詳細(xì)的分析介紹，需要的朋友參考下
2013-06-06
基于ClasspathResource路徑問(wèn)題的解決
這篇文章主要介紹了ClasspathResource路徑問(wèn)題的解決方案，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2021-08-08
Java集合類知識(shí)點(diǎn)總結(jié)
本文把Java集合類的相關(guān)知識(shí)點(diǎn)做了總結(jié)，并把Java常用集合類之間的區(qū)別做了分析，一起參考學(xué)習(xí)下。
2018-02-02