前言

現(xiàn)在很多web應(yīng)用，做過(guò)web項(xiàng)目的童鞋都知道，web結(jié)果由html+js+css組成，html結(jié)構(gòu)都有一定的規(guī)范，數(shù)據(jù)動(dòng)態(tài)交互可以通過(guò)js實(shí)現(xiàn)。

有些時(shí)候，需要抓取某一個(gè)你感興趣的網(wǎng)站信息，一個(gè)網(wǎng)站信息肯定是通過(guò)某一個(gè)url，發(fā)送http請(qǐng)求，根據(jù)地址定位的，當(dāng)知道這個(gè)地址，可以獲取到很多的網(wǎng)絡(luò)響應(yīng)，需要認(rèn)真分析，找到你那一個(gè)合適的地址，最后通過(guò)這個(gè)地址返回一個(gè)html給你，我們可以得到這個(gè)html，分析結(jié)構(gòu)，解析這個(gè)結(jié)構(gòu)獲取你要的數(shù)據(jù)。Html的結(jié)構(gòu)解析往往是復(fù)雜繁瑣的，我們可以使用java的支持包：jsoup，可以完成發(fā)送請(qǐng)求，解析html等功能，得到你感興趣的數(shù)據(jù)。

下面就以一個(gè)彩票網(wǎng)站為例來(lái)簡(jiǎn)單說(shuō)明整體操作流程，分為以下幾大步驟：

• 根據(jù)官網(wǎng)，定位到自己感興趣的模塊：雙色球
• 分析頁(yè)面，找到它的入口地址
• 獲取地址，使用jsoup發(fā)送請(qǐng)求，獲取返回的Document對(duì)象
• 分析Document對(duì)象，獲取感興趣的數(shù)據(jù)

1：根據(jù)官網(wǎng)，定位到自己感興趣的模塊：雙色球：

本人選擇的500彩票網(wǎng)站：請(qǐng)根據(jù)以下步驟，找到雙色球板塊。

 2：分析頁(yè)面，找到它的入口地址

發(fā)現(xiàn)右側(cè)有一個(gè)下拉選擇框，這個(gè)是歷史雙色球開(kāi)獎(jiǎng)期號(hào)。改變這個(gè)值，瀏覽器會(huì)重新去請(qǐng)求這期的開(kāi)獎(jiǎng)信息，確定地址是：

http://kaijiang.500.com/shtml/ssq/選擇期號(hào).shtml

 3：獲取地址，使用jsoup發(fā)送請(qǐng)求，獲取返回的Document對(duì)象

創(chuàng)建一個(gè)maven工程，導(dǎo)入jsoup的依賴(lài)：在你java類(lèi)中，向2地址發(fā)送請(qǐng)求：獲取返回的頁(yè)面數(shù)據(jù)：

返回的html頁(yè)面內(nèi)容比較多，就不貼在這里的，下面直接對(duì)這個(gè)頁(yè)面分析(特別說(shuō)明，每一個(gè)html的結(jié)構(gòu)不是一成不變的，有可能當(dāng)讀者看到這篇文章的時(shí)候，網(wǎng)站修改了網(wǎng)頁(yè)結(jié)構(gòu)，那么你需要重新分析，當(dāng)然，估計(jì)這個(gè)網(wǎng)站修改網(wǎng)頁(yè)結(jié)構(gòu)的可能性比較小。。。。。。)

 4：分析Document對(duì)象，獲取感興趣的數(shù)據(jù)

雙色球由6個(gè)紅球+1個(gè)籃球組成，通過(guò)分析網(wǎng)頁(yè)，是通過(guò)class來(lái)表示的，網(wǎng)頁(yè)源碼如下：

通過(guò)以下代碼，獲取到6個(gè)紅球：

同理，可以獲取到1個(gè)籃球。

根據(jù)這個(gè)原理，你可以獲取你想要的很多的數(shù)據(jù)：以下是本人獲取的數(shù)據(jù)

以上是個(gè)人對(duì)java中簡(jiǎn)單抓取網(wǎng)頁(yè)數(shù)據(jù)的分享，感興趣的童鞋可以自己的實(shí)踐一下，實(shí)踐出真知。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評(píng)論