Java 使用maven實(shí)現(xiàn)Jsoup簡(jiǎn)單爬蟲(chóng)案例詳解
一、Jsoup的簡(jiǎn)介
jsoup 是一款Java 的HTML解析器，可直接解析某個(gè)URL地址、HTML文本內(nèi)容。它提供了一套非常省力的API，可通過(guò)DOM，CSS以及類(lèi)似于jQuery的操作方法來(lái)取出和操作數(shù)據(jù)
二、我們可以利用Jsoup做什么
2.1從URL，文件或字符串中刮取并解析HTML查找和提取數(shù)據(jù)，
2.2使用DOM遍歷或CSS選擇器操縱HTML元素，屬性和文本
2.3從而使我們輸出我們想要的整潔文本
三、利用Jsoup爬取某東示例
可以從圖中看到，成功爬取某東的女裝熱門(mén)銷(xiāo)量從高到低的標(biāo)題，從而可以分析到銷(xiāo)量高（或者是綜合排序）在前列的標(biāo)題名稱(chēng)。從而可以剖析出熱門(mén)商品的命名規(guī)范。
四、Jsoup用法
4.1先創(chuàng)建maven工程，在maven工程上注入依賴
4.2 注入依賴后需要導(dǎo)入依賴，否則在程序中使用Jsoup會(huì)全部報(bào)錯(cuò)。
4.3利用JSP的知識(shí)找出目標(biāo)元素
如在某東界面我們發(fā)現(xiàn)， 控制目標(biāo)頁(yè)面的ID為"plist"，則我們使用
getElementById("plist");方法去獲取到他的ID
接著獲取目標(biāo)標(biāo)題，可以由上圖分析得，標(biāo)題是由<em>標(biāo)簽所控制，因此我們需要用到
getElementsByTag("em");去捕捉到em的部分
最后循環(huán)輸出他的部分即可。
五、總結(jié)
Jsoup只能應(yīng)用于簡(jiǎn)單的頁(yè)面捕捉，在實(shí)際開(kāi)發(fā)中許多網(wǎng)站采用Ajax技術(shù)等使得模塊在動(dòng)態(tài)變化抑或是有反爬蟲(chóng)技術(shù)，因此本技術(shù)有局限性。熟悉前端jsp技術(shù)的同學(xué)應(yīng)該會(huì)游刃有余。
最后附上所有代碼
到此這篇關(guān)于Java 使用maven實(shí)現(xiàn)Jsoup簡(jiǎn)單爬蟲(chóng)案例詳解的文章就介紹到這了,更多相關(guān)Java 使用maven實(shí)現(xiàn)Jsoup簡(jiǎn)單爬蟲(chóng)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
- java爬蟲(chóng)jsoup解析HTML的工具學(xué)習(xí)
- Java爬蟲(chóng)實(shí)現(xiàn)Jsoup利用dom方法遍歷Document對(duì)象
- Java使用httpRequest+Jsoup爬取紅藍(lán)球號(hào)碼
- Java爬蟲(chóng)(Jsoup與WebDriver)的使用
- java獲取文件編碼,jsoup獲取html純文本操作
- java通過(guò)Jsoup爬取網(wǎng)頁(yè)過(guò)程詳解
- 詳解java爬蟲(chóng)jsoup解析多空格class數(shù)據(jù)
- java爬蟲(chóng)Jsoup主要類(lèi)及功能使用詳解
相關(guān)文章
SpringCloud使用Feign實(shí)現(xiàn)遠(yuǎn)程調(diào)用流程詳細(xì)介紹
OpenFeign源于Netflix的Feign，是http通信的客戶端。屏蔽了網(wǎng)絡(luò)通信的細(xì)節(jié)，直接面向接口的方式開(kāi)發(fā)，讓開(kāi)發(fā)者感知不到網(wǎng)絡(luò)通信細(xì)節(jié)。所有遠(yuǎn)程調(diào)用，都像調(diào)用本地方法一樣完成2023-02-02
這篇文章主要介紹了JAVA NIO的的相關(guān)資料，文中講解非常細(xì)致，幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-07-07
在實(shí)際項(xiàng)目中,會(huì)遇到上傳視頻后,需要截取視頻的首幀或指定幀為圖片,作為展示使用的需求,下面小編就來(lái)為大家介紹一下如何使用Java實(shí)現(xiàn)截取視頻第一幀吧2025-03-03
這篇文章主要為大家詳細(xì)介紹了java設(shè)計(jì)模式之單例模式，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-10-10
兩萬(wàn)字詳解Java Sring String的常見(jiàn)操作以及StringBuffer StringBuilder的區(qū)別
本篇文章帶你認(rèn)識(shí)Sring、String的常見(jiàn)操作和StringBuffer 與StringBuilder的區(qū)別（字符串詳解），對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-09-09
這篇文章主要介紹了Java中的CompletableFuture使用解析,為什么CompletableFuture要定制化線程池,因?yàn)槟J(rèn)的線程池是ForkJoinPool,這個(gè)線程池的最大線程數(shù)默認(rèn)是你的電腦的線程數(shù)數(shù)減1,假如我線程電腦是4核8線程的,ForkJoinPool的最大線程數(shù)就是7,需要的朋友可以參考下2024-01-01
測(cè)試環(huán)境頻繁Full GC問(wèn)題的解決思路分析
全文介紹了作者通過(guò)與調(diào)用方交互,發(fā)現(xiàn)welink-front服務(wù)不可用的問(wèn)題,通過(guò)jmap-heap和jstat-gccause命令,作者找到了問(wèn)題的原因是元數(shù)據(jù)區(qū)內(nèi)存使用率過(guò)高,觸發(fā)了FullGC,作者通過(guò)分析GC日志和堆內(nèi)存使用情況,確定了問(wèn)題的根本原因2025-01-01
java基于線程池和反射機(jī)制實(shí)現(xiàn)定時(shí)任務(wù)完整實(shí)例
這篇文章主要介紹了java基于線程池和反射機(jī)制實(shí)現(xiàn)定時(shí)任務(wù)的方法,以完整實(shí)例形式較為詳細(xì)的分析了Java定時(shí)任務(wù)的功能原理與實(shí)現(xiàn)技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-11-11
這篇文章主要為大家詳細(xì)介紹了java和php版的微信隨機(jī)生成紅包金額算法，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2016-07-07
RabbitMQ實(shí)現(xiàn)消費(fèi)端限流的步驟
消費(fèi)者端限流的主要目的是控制消費(fèi)者每次從 RabbitMQ 中獲取的消息數(shù)量,從而實(shí)現(xiàn)消息處理的流量控制,這篇文章主要介紹了RabbitMQ如何實(shí)現(xiàn)消費(fèi)端限流,需要的朋友可以參考下2024-03-03