快捷導(dǎo)航

Java爬蟲Jsoup+httpclient獲取動(dòng)態(tài)生成的數(shù)據(jù)

更新時(shí)間：2017年05月11日 10:15:59 投稿：lqh

這篇文章主要介紹了Java爬蟲Jsoup+httpclient獲取動(dòng)態(tài)生成的數(shù)據(jù)的相關(guān)資料,需要的朋友可以參考下

Java爬蟲Jsoup+httpclient獲取動(dòng)態(tài)生成的數(shù)據(jù)

前面我們詳細(xì)講了一下Jsoup發(fā)現(xiàn)這玩意其實(shí)也就那樣，只要是可以訪問到的靜態(tài)資源頁面都可以直接用他來獲取你所需要的數(shù)據(jù)，詳情情跳轉(zhuǎn)-Jsoup爬蟲詳解，但是很多時(shí)候網(wǎng)站為了防止數(shù)據(jù)被惡意爬取做了很多遮掩，比如說加密啊動(dòng)態(tài)加載啊，這無形中給我們寫的爬蟲程序造成了很大的困擾，那么我們?nèi)绾蝸硗黄七@個(gè)梗獲取我們急需的數(shù)據(jù)呢，

下面我們來詳細(xì)講解一下如何獲取

String startPage="https://item.jd.com/11476104681.html";

Document document = Jsoup.connect(startPage).userAgent
("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) 
Chrome/52.0.2743.116 Safari/537.36").get();

這時(shí)其實(shí)已經(jīng)獲取到了整個(gè)頁面的數(shù)據(jù)，但是商品價(jià)格是通過回調(diào)函數(shù)獲取后再填充上去的，所以這就要求我們寫爬蟲的開發(fā)者要很有耐心的去尋找價(jià)格數(shù)據(jù)的回調(diào)接口，我們直接訪問這個(gè)接口就可以直接獲取這個(gè)價(jià)格，下面是演示：

這里寫圖片描述

通過這張截圖可以看到他傳過來的只是一個(gè)靜態(tài)資源頁面根本沒有價(jià)格參數(shù)，那么價(jià)格怎么來的呢，繼續(xù)找發(fā)現(xiàn)這個(gè)接口：

這里寫圖片描述

你會發(fā)現(xiàn)在這個(gè)接口是很多參數(shù)拼接上去的，那么我們要做的就是分析是不是所有的參數(shù)都有用

https://p.3.cn/prices/mgets?callback=jQuery9734926&type=1&area=1&pdtk=
pduid=14930020970791835891856&pdpin=jd_6738608ee8eed&pdbp=0&skuIds=J_11476104681&source=item-pc

可以試著刪除一些參數(shù)發(fā)現(xiàn)最終這個(gè)接口需要的參數(shù)其實(shí)很簡單：

https://p.3.cn/prices/mgets?callback=jQuery9734926&type=1&area=1&skuIds=J_11476104681&source=item-pc

看到這里是不是很激動(dòng)了，你其實(shí)可以換一些其他的JD商品ID一樣能獲取到當(dāng)前價(jià)格和最高價(jià)格已經(jīng)那什么價(jià)格我也不清楚，我們需要做的只是寫一個(gè)Httpclient模擬請求這個(gè)接口

String doGet = HttpUtils.doGet("https://p.3.cn/prices/mgets?callback=jQuery9734926&type=1&area=1&skuIds=J_"+"11476104681"+"&source=item-pc", null);
System.out.println(doGet);

結(jié)果是這樣：

jQuery9734926([{"id":"J_11476104681","p":"880.00","m":"980.00","op":"980.00"}]);

至于后面的你直接解析下JSON字符串那么你要的數(shù)據(jù)就GET到了。

注意一下

這是對回調(diào)請求到的數(shù)據(jù)進(jìn)行的再請求獲取，這只是對前面動(dòng)態(tài)獲取商品價(jià)格的一個(gè)補(bǔ)充，這種情況是價(jià)格本身通過主鏈接沒有帶到頁面上而是加載過程中異步請求填充的，還有的時(shí)候是數(shù)據(jù)帶過來了但是有相關(guān)的JS進(jìn)行了相關(guān)處理我們還是獲取不到，這個(gè)時(shí)候我們就得通過其他手段來獲取這個(gè)數(shù)據(jù)，后面會講解

將這些Jsoup和httpclient整合成一個(gè)爬蟲模板完全可以完成你一些基本的爬取數(shù)據(jù)的操作，至于怎么整合就看個(gè)人喜好了。

感謝閱讀，希望能幫助到大家，謝謝大家對本站的支持！

您可能感興趣的文章: