關(guān)于Jsoup將相對(duì)路徑轉(zhuǎn)為絕對(duì)路徑的方法
自從使用 HttpClient 和 Jsoup 配合編寫了幾個(gè)簡單的入門爬蟲之后,發(fā)現(xiàn)對(duì)于絕對(duì)路徑的需求是很頻繁的,因?yàn)榇蟛糠值木W(wǎng)頁都寫相對(duì)路徑,這樣是有好處的,但是爬蟲還是需要獲取絕對(duì)的路徑的。 通常我的處理方式是在獲取的相對(duì)路徑路徑前面,拼接一個(gè)根路徑。當(dāng)是,這種方法只能適用于,相對(duì)路徑是相對(duì)于當(dāng)前路徑的,如果相對(duì)路徑是相對(duì)于當(dāng)前路徑的上一級(jí)或更上一級(jí),那就不好處理了。
正好我昨天我碰到了這種相對(duì)路徑。我無意間發(fā)現(xiàn)原來 Jsoup 本身就提供了這個(gè)功能,但是我發(fā)現(xiàn)很多其他人的博客,雖然介紹了 Jsoup 通過相對(duì)路徑獲取絕對(duì)路徑的方法,但是都沒有介紹完全,為此我也是走了幾個(gè)坑,特意在此說明一下。
通過Jsoup將相對(duì)路徑轉(zhuǎn)為絕對(duì)路徑的方法
如果想要通過 attr 方法獲取到絕對(duì)路徑,必須同時(shí)使用這兩個(gè)方法。
Document org.jsoup.Jsoup.parse(String html, String baseUri); String org.jsoup.nodes.Node.attr(String attributeKey);
必須使用Jsoup 帶有 baseUri 參數(shù)的重載方法,如果只是用具有第一個(gè)參數(shù)的 方法,那么通過attr取絕對(duì)路徑時(shí),獲取的內(nèi)容為空!這是一個(gè)坑,但是其它人的博客都沒有介紹這一點(diǎn)。
Parameters:
html HTML to parse
baseUri The URL where the HTML was
retrieved from. Used to resolve relative URLs to absolute URLs, that
occurbefore the HTML declares a <base href> tag.
這里列出參數(shù)的注釋,第一個(gè)參數(shù)是需要解析的html文檔,第二個(gè)參數(shù)是這個(gè)html的url。用于將相對(duì)url解析為絕對(duì)url,即在HTML聲明標(biāo)記之前發(fā)生。
注意: 這里的 baseUri 并不是網(wǎng)站的根路徑,它是指當(dāng)前的html路徑。即當(dāng)前相對(duì)路徑所在的html文檔的路徑,是相對(duì)路徑相對(duì)的那個(gè)路徑。 所以,如果填寫的是當(dāng)前根路徑,那么最后獲取的絕對(duì)路徑也是有問題的。(也許是可以使用的,但是格式可能有問題。) 下面第二點(diǎn),依賴于當(dāng)前這個(gè)給定的 baseUri 參數(shù)。
attr 方法里面的一句話:
To get an absolute URL from an attribute that may be a relative URL, prefix the key with abs,which is a shortcut to the absUrl method.
E.g.: String url = a.attr(“abs:href”);
這句話的意思是從一個(gè)相對(duì)路徑種獲取一個(gè)絕對(duì)路徑,使用 abs 前綴,這是absUrl方法的快捷方式。
并且給了一個(gè)示例:
String url = a.attr("abs:href");所以,如果想要獲取到絕對(duì)路徑的話,需要在參數(shù)前面加上 abs: 。 這里 abs 就是 absolute 的縮寫,它的意思就是絕對(duì)的。
但是,如果不去使用帶有上面第一點(diǎn)提到的那個(gè)重載的 parse 方法的話,這種方法是取不到絕對(duì)路徑的,甚至是取不到路徑。我在這里踩了一個(gè)坑。
示例
這里以一個(gè)簡單的例子說明: 代碼:
package ahnu.news;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
public class JsoupPathTest {
public static void main(String[] args) {
String html = "<html>"
+ "<head></head>"
+ "<body>"
+ "<a href=\"../dragon/love/you\"></a>"
+ "</body>"
+ "</html>";
System.out.println("正確的用法");
Document doc = Jsoup.parse(html, "http://example/index/loveyou/");
Element aTag = doc.getElementsByTag("a").first(); //獲取 a 標(biāo)簽,只有一個(gè),取第一個(gè)即可。
System.out.println(aTag);
String relativePath = aTag.attr("href"); //獲取相對(duì)路徑
String absolutePath = aTag.attr("abs:href"); //獲取絕對(duì)路徑
System.out.println("相對(duì)路徑:" + relativePath);
System.out.println("絕對(duì)路徑:" + absolutePath);
System.out.println("---------------------分割線---------------------");
System.out.println("錯(cuò)誤的用法");
doc = Jsoup.parse(html);
aTag = doc.getElementsByTag("a").first(); //獲取 a 標(biāo)簽,只有一個(gè),取第一個(gè)即可。
System.out.println(aTag);
relativePath = aTag.attr("href"); //獲取相對(duì)路徑
absolutePath = aTag.attr("abs:href"); //獲取絕對(duì)路徑
System.out.println("相對(duì)路徑:" + relativePath);
System.out.println("絕對(duì)路徑:" + absolutePath);
}
}
運(yùn)行結(jié)果:

注意: 1.在解析html的時(shí)候,必須添加 baseUri 參數(shù),否則獲取絕對(duì)路徑時(shí),反而什么都得不到,這是一個(gè)坑,注意防范。 2.希望其他人貼方法的時(shí)候,可以附帶代碼的執(zhí)行結(jié)果,或者如果是轉(zhuǎn)載的別人的博客,也可以運(yùn)行一下代碼,不然如果他錯(cuò)了,你也轉(zhuǎn)載,那就是在傳播錯(cuò)誤了。 3.英語還是很重要的,關(guān)鍵時(shí)候可以幫助自己理解api的正確用法。
到此這篇關(guān)于關(guān)于Jsoup將相對(duì)路徑轉(zhuǎn)為絕對(duì)路徑的方法的文章就介紹到這了,更多相關(guān)Jsoup獲取絕對(duì)路徑內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Spring Boot實(shí)現(xiàn)分布式鎖的自動(dòng)釋放的示例代碼
在實(shí)際開發(fā)中,我們可以使用 Redis、Zookeeper 等分布式系統(tǒng)來實(shí)現(xiàn)分布式鎖,本文將介紹如何使用 Spring Boot 來實(shí)現(xiàn)分布式鎖的自動(dòng)釋放,感興趣的朋友跟隨小編一起看看吧2023-06-06
BlockingQueue隊(duì)列處理高并發(fā)下的日志
這篇文章主要介紹了BlockingQueue隊(duì)列處理高并發(fā)下的日志示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步2022-03-03
如何在Netty中注解使用Service或者M(jìn)apper
這篇文章主要介紹了如何在Netty中注解使用Service或者M(jìn)apper,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-02-02
Java MD5加密工具類的方法(支持多參數(shù)輸入)
在實(shí)際開發(fā)過程中,MD5加密是一種常見的數(shù)據(jù)安全處理手段,常用于密碼存儲(chǔ)、數(shù)據(jù)完整性校驗(yàn)等場景,這篇文章主要介紹了Java MD5加密工具類(支持多參數(shù)輸入),需要的朋友可以參考下2024-05-05
Java反射之通過反射獲取一個(gè)對(duì)象的方法信息(實(shí)例代碼)
下面小編就為大家?guī)硪黄狫ava反射之通過反射獲取一個(gè)對(duì)象的方法信息(實(shí)例代碼)。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2016-10-10

