詳解Java中的OkHttp?JSONP爬蟲

更新時間：2022年07月18日 10:35:11 作者：胡安民

一般在java平臺上，我們會使用apache?httpclient作為http客戶端，用于發(fā)送?http?請求，并對響應進行處理，這篇文章主要介紹了詳解Java中的OkHttp?JSONP爬蟲的相關資料,需要的朋友可以參考下

什么是JSOUP

JSOUP 是一款Java 的HTML解析器，可直接解析某個URL地址、HTML文本內(nèi)容。它提供了一套非常省力的API，可通過DOM，CSS以及類似于jQuery的操作方法來取出和操作數(shù)據(jù)。官網(wǎng)

jsoup實現(xiàn)了WHATWG HTML5規(guī)范，并將 HTML 解析為與現(xiàn)代瀏覽器相同的 DOM。

從 URL、文件或字符串中抓取和解析HTML
使用 DOM 遍歷或 CSS 選擇器查找和提取數(shù)據(jù)
操作HTML 元素、屬性和文本
根據(jù)安全列表清理用戶提交的內(nèi)容，以防止XSS攻擊
輸出整潔的 HTML

什么是OkHttp

一般在java平臺上，我們會使用apache httpclient作為http客戶端，用于發(fā)送 http 請求，并對響應進行處理。比如可以使用http客戶端與第三方服務(如sso服務)進行集成，當然還可以爬取網(wǎng)上的數(shù)據(jù)等。okhttp與httpclient類似，也是一個http客戶端，提供了對 http/2 和 spdy 的支持，并提供了連接池，gzip 壓縮和 http 響應緩存功能；

okhttp是目前非?；鸬木W(wǎng)絡庫，它有以下特性：

1.支持http/2，允許所有同一個主機地址的請求共享同一個socket連接

2.連接池減少請求延時

3.透明的gzip壓縮減少響應數(shù)據(jù)的大小

4.緩存響應內(nèi)容，避免一些完全重復的請求

OkHttp教程

爬蟲需要掌握的技術

JSOUP
OKHTTP
前端知識
http和https
數(shù)據(jù)存儲(Json、XML ,txt、html, CSV ,Excel , ES ,mysql,redis…)
數(shù)據(jù)分析
JavaScript語言
抓包工具fiddler,Wireshark
數(shù)據(jù)清洗
正則表達式
文件讀寫
多線程

根據(jù)情況可能還不止上面這些,但是會了上面這些技術那么可以說爬蟲算是入門

需要的依賴

 <!--        爬蟲-解析html頁面-->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.11.3</version>
        </dependency>
        <dependency>
            <groupId>com.squareup.okhttp3</groupId>
            <artifactId>okhttp</artifactId>
            <version>3.10.0</version>
        </dependency>

JSON入門Demo

爬取華北地區(qū),所有省市,一個星期全部的天氣

按下f12,就就能查看html的結構進行分析具體該怎么爬,然后找到對應的標簽,之后根據(jù)標簽的位置寫出css選擇器

具體詳情代碼如下:

        //拿到網(wǎng)頁的xml
        String doc = OkHttpUtils.builder()
                .url("http://www.weather.com.cn/textFC/hb.shtml")
                .get()
                .sync();

        //時間,省市,城市,天氣現(xiàn)象
        StringBuilder stringBuilder0=new StringBuilder();
        //標題
        StringBuilder stringBuilder = new StringBuilder("時間,省市,城市,天氣現(xiàn)象,風向風力,最高氣溫,天氣現(xiàn)象,風向風力,最低氣溫");
        stringBuilder0.append(stringBuilder).append("\n");
        Document document = Jsoup.parse(doc);//將頁面轉換為Document
        //使用css 選擇器
        Elements selecttop = document.select(".day_tabs li");
        //拿到數(shù)據(jù)列表
        Elements select = document.select(".conMidtab");
        for (int i1 = 0; i1 < selecttop.size(); i1++) {
            Element element = selecttop.get(i1);

            String text = element.text();
            //進行數(shù)據(jù)清洗,取出時間
            String time = PatternCommon.cutPatternStr(text, "[\\u4e00-\\u9fa5]*\\((\\S*)\\)", 1).get(1);
            //取和實際對應的列表
            Element element1 = select.get(i1);
            Elements midtab = element1.select(".conMidtab2");
            for (int i = 0; i < midtab.size(); i++) {
                StringBuilder stringBuilder1 = new StringBuilder();
                //時間
                stringBuilder1.append(time).append(",");
                Element element2 = midtab.get(i);
                //拿到所有的行
                Elements trs = element2.select("table tr");
                //拿到省市
                Elements select2 = trs.select(".rowspan");
                stringBuilder1.append(select2.text()).append(",");
                //跳過前3行從第4行開始讀取
                for (int i2 = 3; i2 < trs.size()-1; i2++) {
                    StringBuilder stringBuilder2 = new StringBuilder();
                    Element element3 = trs.get(i2);
                    //拿到行下所有列  城市,天氣現(xiàn)象,風向風力,最高氣溫,天氣現(xiàn)象,風向風力,最低氣溫
                    Elements td = element3.select("td");
                    for (int i3 = 0; i3 < td.size(); i3++) {
                        Element element4 = td.get(i3);
                        if(i3 == td.size()-2){
                            //最后一個不需要逗號
                            stringBuilder2.append(element4.text());
                            break;
                        }
                        stringBuilder2.append(element4.text()).append(",");
                    }
                    StringBuilder stringBuilder3 = new StringBuilder();
                    stringBuilder3.append(stringBuilder1).append(stringBuilder2);
                    stringBuilder0.append(stringBuilder3).append("\n");
                }
            }
        }

        //將內(nèi)容按行寫入到csv文件中
        String absoluteFilePathAndCreate = ResourceFileUtil.getAbsoluteFileOrDirPathAndCreate("/weather.csv");
        ReadWriteFileUtils.writeStrCover(new File(absoluteFilePathAndCreate),stringBuilder0.toString());

JSOUP常用方法

注意: 下面的參數(shù)名稱query和cssQuery 就是css選擇器

Jsoup:

Document Jsoup.parse(str); 將字符串HTML轉換為Document
Connection connect(String url) 創(chuàng)建到URL的新連接。用于獲取和解析HTML頁面
Document parse(File in, “UTF-8”) 將文件內(nèi)容解析為HTML。
Document parse(InputStream in, “UTF-8”, “”) 讀取輸入流，并將其解析為HTML。

Document :

Elements select(css) 使用css選擇器從document中查詢指定元素 ,返回Elements類型
String title() 獲取文檔標題元素的字符串內(nèi)容。
Element head() 文檔頭元素的訪問者
Element body() 文檔主體元素的訪問者。

Elements:

Elements select(String query) 在此元素列表中查找匹配的元素。
Element get(int index) 返回此列表中指定位置的元素
String text() 獲取元素的value
boolean hasText() 判斷是否有內(nèi)容
List<String> eachText() 獲取每個匹配元素的文本內(nèi)容
String html() 獲取所有匹配元素的組合內(nèi)部HTML
boolean is(String query) 測試是否有匹配的元素如果有則為true。
Elements next() 獲取此列表中每個元素的下一個同級元素
Elements next(String query) 獲取此列表中每個元素的下一個同級元素，并通過查詢進行篩選。
Elements nextAll() 獲取此列表中每個元素的以下所有元素同級。
Elements nextAll(String query) 獲取此列表中每個元素的以下所有元素同級，并通過查詢進行篩選。
Elements prev() 獲取此列表中每個元素的前一個元素同級。
Elements prev(String query) 獲取此列表中每個元素的前一個元素同級，并通過查詢進行篩選。
Elements prevAll() 獲取此列表中每個元素之前的所有同級元素。
Elements prevAll(String query) 獲取此列表中每個元素之前的所有同級元素，并通過查詢進行篩選。
Elements parents() 獲取匹配元素的所有父元素和祖先元素。
Element first() 獲取第一個匹配的元素。
Element last() 獲取最后匹配的元素
List<FormElement> forms() 從所選元素（如果有）中獲取FormElement表單
Elements filter(NodeFilter nodeFilter) 對每個選定元素執(zhí)行深度優(yōu)先過濾 (可以控制具體怎么遍歷)
Elements traverse(NodeVisitor nodeVisitor) 對每個選定元素執(zhí)行深度優(yōu)先遍歷 (一直遍歷到結束)

Element:

Elements parents() 獲取此元素的父元素和祖先元素，直到文檔根。
Element parent() 獲取父元素
String tagName() 獲取此元素的標記名稱
boolean isBlock() 測試此元素是否為塊級元素
String id() 獲取此元素的id屬性。
Attributes attributes() 獲取元素上所有屬性
Element child(int index) 通過該元素的基于0的索引號獲取該元素的子元素。
Elements children() 獲取此元素的子元素列表
List<TextNode> textNodes() 獲取此元素的子文本節(jié)點
Elements select(String cssQuery) 查找與選擇器CSS查詢匹配的元素
Element selectFirst(String cssQuery) 查找與選擇器CSS查詢匹配的第一個元素
boolean is(String cssQuery) 檢查此元素是否與給定的選擇器CSS查詢匹配。
Element nextElementSibling() 獲取此元素的下一個同級元素
Elements siblingElements() 獲取兄弟元素。如果元素沒有同級元素則返回空列表
String cssSelector() 獲取將唯一選擇此元素的CSS選擇器。(可用于檢索選擇器中元素的CSS路徑)
Element previousElementSibling() 獲取此元素的上一個同級元素
Element firstElementSibling() 獲取此元素的第一個同級元素
int elementSiblingIndex() 在其元素同級列表中獲取此元素的列表索引。如果這是第一個同級元素，則返回0。
Element lastElementSibling() 獲取此元素的最后一個同級元素
Elements getElementsByTag(String tagName) 查找具有指定標簽名的元素，包括此元素下的元素并遞歸查找。
Element getElementById(String id) 按ID查找元素，包括或在此元素下
Elements getElementsByClass(String className) 查找具有此類的元素，包括或在該元素下。不區(qū)分大小寫
Elements getElementsByAttribute(String key) 查找具有命名屬性集的元素。不區(qū)分大小寫。
Elements getElementsByAttributeStarting(String keyPrefix) 查找屬性名稱以提供的前綴開頭的元素。
Elements getElementsByAttributeValue(String key, String value) 查找具有具有特定值的屬性的元素。不區(qū)分大小寫。
Elements getElementsByAttributeValueNot(String key, String value) 查找沒有此屬性=值的元素。不區(qū)分大小寫。
Elements getElementsByAttributeValueStarting(String key, String valuePrefix) 查找屬性以值前綴開頭的元素。不區(qū)分大小寫。
Elements getElementsByAttributeValueEnding(String key, String valueSuffix) 查找屬性以值后綴結尾的元素。不區(qū)分大小寫。
Elements getElementsByAttributeValueContaining(String key, String match) 查找具有其值包含匹配字符串的屬性的元素。不區(qū)分大小寫。
Elements getElementsByAttributeValueMatching(String key, Pattern pattern) 查找具有值與提供的正則表達式匹配的屬性的元素。
Elements getElementsByAttributeValueMatching(String key, String regex) 查找具有值與提供的正則表達式匹配的屬性的元素。
Elements getElementsByIndexLessThan(int index) 查找同級索引小于提供的索引的元素。
Elements getElementsByIndexGreaterThan(int index) 查找同級索引大于提供的索引的元素。
Elements getElementsByIndexEquals(int index) 查找同級索引等于提供的索引的元素
Elements getElementsContainingText(String searchText) 查找包含指定字符串的元素。文本可以直接出現(xiàn)在元素中，也可以出現(xiàn)在其任何子元素中。(在元素的文本中查找)
Elements getElementsContainingOwnText(String searchText) 查找直接包含指定字符串的元素。搜索不區(qū)分大小寫。文本必須直接出現(xiàn)在元素中，而不是其任何子體中 (在元素自己的文本中查找)
Elements getElementsMatchingText(Pattern pattern) 查找其文本與提供的正則表達式匹配的元素
Elements getElementsMatchingText(String regex) 查找其文本與提供的正則表達式匹配的元素
Elements getElementsMatchingOwnText(Pattern pattern) 查找其自身文本與提供的正則表達式匹配的元素。
Elements getElementsMatchingOwnText(String regex) 查找其自身文本與提供的正則表達式匹配的元素。
Elements getAllElements() 查找此元素下的所有元素（包括self和children的子元素）
String text() 獲取此元素及其所有子元素的組合文本?？瞻妆灰?guī)范化和修剪。
String wholeText() 獲取該元素所有子元素的（未編碼）文本，包括原始元素中存在的任何換行符和空格。
String ownText() 獲取僅由該元素擁有的文本；無法獲取所有子級的組合文本。
boolean hasText() 測試這個元素是否有任何文本內(nèi)容（不僅僅是空白）。如果元素具有非空白文本內(nèi)容，則為true。
String data() 獲取此元素的組合數(shù)據(jù)。例如，數(shù)據(jù)是腳本標記的內(nèi)部。請注意，數(shù)據(jù)不是元素的文本。使用text（）獲取用戶可見的文本，使用data（）獲取腳本、注釋、CSS樣式等的內(nèi)容。
String className() 獲取此元素的“class”屬性的文字值，該屬性可能包括多個類名，用空格分隔。
Set<String> classNames() 獲取所有元素的類名
boolean hasClass(String className) 測試此元素是否具有類。不區(qū)分大小寫
String val() 獲取表單元素的值（input、textarea等）。

使用JSOUP 方式連接

高并發(fā)爬取使用OkHttp,因為內(nèi)部做了很多的優(yōu)化,在爬取的頻率很快和多的時候效率是非常好的, JSOUP內(nèi)部提供了請求方式但效率沒有OkHttp高,下面是封裝好的直接就可以用,但是只支持返回xml/html頁面否則報錯,所以盡量使用OkHttp比較靈活,效率還好


import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import javax.net.ssl.SSLContext;
import javax.net.ssl.SSLSocketFactory;
import javax.net.ssl.TrustManager;
import javax.net.ssl.X509TrustManager;
import java.io.IOException;
import java.net.InetSocketAddress;
import java.net.Proxy;
import java.security.SecureRandom;
import java.security.cert.X509Certificate;

/**
 * 簡要描述
 * @Author: huanmin
 * @Date: 2022/7/17 18:47
 * @Version: 1.0
 * @Description: 文件作用詳細描述....
 * Document execute = JsoupConnect.build("http://www.weather.com.cn/textFC/hb.shtml").getExecute();
 */
public class JsoupConnect {

   private final Connection connect;

    public static   JsoupConnect build(String url) {
        return new JsoupConnect(url);
    }
    public  Document  getExecute() {
        Document document = null;
        try {
            document = connect.get();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return  document;
    }
    public  Document  postExecute() {
        Document document = null;
        try {
            document = connect.get();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return  document;
    }
    
    
    public JsoupConnect(String url) {
        Connection connect1 = Jsoup.connect(url);
        TrustManager[] trustManagers = buildTrustManagers();
        connect1.timeout(30000);//超時時間 30秒
        connect1.sslSocketFactory(createSSLSocketFactory(trustManagers));
        connect1.userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36");
        this.connect =connect1;
    }
    //設置代理
    //        Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress("127.0.0.1", 8080));
    public  JsoupConnect proxy(Proxy.Type type,String ip,int port) {
        Proxy proxy = new Proxy(type, new InetSocketAddress(ip, port));
        this.connect.proxy(proxy);
        return this;
    }

    public  JsoupConnect cookie(String name, String value){
        connect.cookie(name,value);
        return this;
    }
    public  JsoupConnect header(String name, String value){
        connect.header(name,value);
        return this;
    }

    //get 和 post
    public  JsoupConnect addParameter(String key, String value){
        connect.data(key,value);
        return this;
    }

    /**
     * 生成安全套接字工廠，用于https請求的證書跳過
     *
     * @return
     */

    private SSLSocketFactory createSSLSocketFactory(TrustManager[] trustAllCerts) {
        SSLSocketFactory ssfFactory = null;
        try {
            SSLContext sc = SSLContext.getInstance("SSL");
            sc.init(null, trustAllCerts, new SecureRandom());
            ssfFactory = sc.getSocketFactory();
        } catch (Exception e) {
            e.printStackTrace();
        }
        return ssfFactory;
    }

    private  TrustManager[] buildTrustManagers() {
        return new TrustManager[]{
                new X509TrustManager() {
                    @Override
                    public void checkClientTrusted(X509Certificate[] chain, String authType) {
                    }

                    @Override
                    public void checkServerTrusted(X509Certificate[] chain, String authType) {
                    }

                    @Override
                    public X509Certificate[] getAcceptedIssuers() {
                        return new X509Certificate[]{};
                    }
                }
        };
    }
}

User-Agent(隨機)

User-Agent是Http協(xié)議中的一部分，屬于頭域的組成部分，User Agent也簡稱UA。用較為普通的一點來說，是一種向訪問網(wǎng)站提供你所使用的瀏覽器類型、操作系統(tǒng)及版本、CPU 類型、瀏覽器渲染引擎、瀏覽器語言、瀏覽器插件等信息的標識。UA字符串在每次瀏覽器 HTTP 請求時發(fā)送到服務器！ ,所以大批量爬蟲的時候不要一直使用同一個User-Agent, 要多切換切換,不然就會識別到你了給你拉黑

可以利用隨機的方式來獲取下面的內(nèi)容

Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50
Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1
Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1
Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11
Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.85 Safari/537.36
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.85 Safari/537.36
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.85 Safari/537.36
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.85 Safari/537.36
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.85 Safari/537.36
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)
Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5
Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5
Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5
Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1
MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1
Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10
UCWEB7.0.2.37/28/999
Openwave/ UCWEB7.0.2.37/28/999
Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999

import com.google.common.base.Charsets;
import com.google.common.io.Files;
import com.google.common.io.Resources;

import java.io.File;
import java.net.URL;
import java.util.Collections;
import java.util.List;

/**
 * 簡要描述
 *
 * @Author: huanmin
 * @Date: 2022/7/17 19:51
 * @Version: 1.0
 * @Description: 文件作用詳細描述....
 */
public class UserAgent {

    private static final String DEFAULT_USER_AGENT = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.85 Safari/537.36";

    private static List<String> userAgents = null;
    static {
        URL url = Resources.getResource("userAgents");
        if(url != null) {
            File file = new File(url.getPath());
            try {
                userAgents = Files.readLines(file, Charsets.UTF_8);
            } catch(Exception ex) {}
        }
    }

    public static String getUserAgent() {
        if(userAgents == null || userAgents.size() == 0) {
            return DEFAULT_USER_AGENT;
        }
        Collections.shuffle(userAgents);
        return userAgents.get(0);
    }

}

后臺爬蟲的三大問題

后臺爬蟲在大行其道的時候，也有著些許棘手的、到目前也沒有什么好的解決方案問題，而歸根結底，這些問題的根本原因是由于后臺爬蟲的先天不足導致，在正式討論之前，我們先思考一個問題，“爬蟲和瀏覽器有什么異同？”

相同點: 本質上都是通過http/https協(xié)議請求互聯(lián)網(wǎng)數(shù)據(jù)

不同點:

爬蟲一般為自動化程序，無需用用戶交互，而瀏覽器不是
運行場景不同 ,瀏覽器運行在客戶端，而爬蟲一般都跑在服務端
能力不同, 瀏覽器包含渲染引擎、javascript ，而爬蟲一般都不具備這兩者。

了解了這些，我們再來看看后臺面臨的問題

問題一：交互問題

有些網(wǎng)頁往往需要和用戶進行一些交互，進而才能走到下一步，比如輸入一個驗證碼，拖動一個滑塊，選幾個漢字。網(wǎng)站之所以這么做，很多時候都是為了驗證訪問者到底是人還是機器。

而爬蟲程序遇到這種情況很難處理，傳統(tǒng)的簡單圖片驗證碼可以通過圖形處理算法讀出內(nèi)容，但是隨著各種各樣，花樣百出，人神共憤的、變態(tài)的驗證碼越來越多（尤其是買火車票時，分分鐘都想爆粗口），這個問題就越來越嚴重。

問題二：Javascript 解析問題

如前文所述，javascript可以動態(tài)生成dom。目前大多數(shù)網(wǎng)頁屬于動態(tài)網(wǎng)頁**（內(nèi)容由javascript動態(tài)填充），尤其是在移動端，SPA/PWA應用越來越流行，網(wǎng)頁中大多數(shù)有用的數(shù)據(jù)都是通過ajax/fetch動態(tài)獲**取后然后再由js填充到網(wǎng)頁dom樹中，單純的html靜態(tài)頁面中有用的數(shù)據(jù)很少。

目前主要應對的方案就是對于js ajax/fetch請求直接請求ajax/fetch的url ，但是還有一些ajax的請求參數(shù)會依賴一段javascript動態(tài)生成，比如一個請求簽名，再比如用戶登陸時對密碼的加密等等。

如果一昧的去用后臺腳本去干javascript本來做的事，這就要清楚的理解原網(wǎng)頁代碼邏輯，而這不僅非常麻煩，而且會使你的爬取代碼異常龐大臃腫，但是，更致命的是，有些javascript可以做的事爬蟲程序是很難甚至是不能模仿的，比如有些網(wǎng)站使用拖動滑塊到某個位置的驗證碼機制，這就很難再爬蟲中去模仿。

其實，總結一些，這些弊端歸根結底，是因為爬蟲程序并非是瀏覽器，沒有javascript解析引擎所致。針對這個問題，目前主要的應對策略就是在爬蟲中引入Javascript 引擎，如PhantomJS，但是又有著明顯的弊端，如服務器同時有多個爬取任務時，資源占用太大。

還有就是，這些無窗口的javascript引擎很多時候使用起來并不能像在瀏覽器環(huán)境中一樣，頁面內(nèi)部發(fā)生跳轉時，會導致流程很難控制。

問題三：IP限制

這是目前對后臺爬蟲中最致命的。網(wǎng)站的防火墻會對某個固定ip在某段時間內(nèi)請求的次數(shù)做限制，如果沒有超過上線則正常返回數(shù)據(jù)，超過了，則拒絕請求，如qq 郵箱。

值得說明的是，ip限制有時并非是專門為了針對爬蟲的，而大多數(shù)時候是出于網(wǎng)站安全原因針對DOS攻擊的防御措施。后臺爬取時機器和ip有限，很容易達到上線而導致請求被拒絕。目前主要的應對方案是使用代理，這樣一來ip的數(shù)量就會多一些，但代理ip需要花錢

selenium+phantomjs(維護中…內(nèi)容重新整理)

selenium+phantomjs組合進行爬取，因為selenium封裝了phantomjs，能夠讓我們更方便，更好的使用，節(jié)約時間和成本。

PhantomJs下載地址: https://phantomjs.org/download.html

      <dependency>
            <groupId>org.seleniumhq.selenium</groupId>
            <artifactId>selenium-java</artifactId>
            <version>3.141.59</version>
        </dependency>
        <dependency>
            <groupId>com.codeborne</groupId>
            <artifactId>phantomjsdriver</artifactId>
            <version>1.4.4</version>
        </dependency>

DesiredCapabilities desiredCapabilities = new DesiredCapabilities();
//ssl證書支持
desiredCapabilities.setCapability("acceptSslCerts", true);
//截屏支持，這里不需要
desiredCapabilities.setCapability("takesScreenshot", false);
//css搜索支持
desiredCapabilities.setCapability("cssSelectorsEnabled", true);
//js支持
desiredCapabilities.setJavascriptEnabled(true);
//驅動支持
desiredCapabilities.setCapability(PhantomJSDriverService.PHANTOMJS_EXECUTABLE_PATH_PROPERTY,
        "G:\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe");
//創(chuàng)建無界面瀏覽器對象
PhantomJSDriver driver = new PhantomJSDriver(desiredCapabilities);
//這里注意，把窗口的大小調(diào)整為最大，如果不設置可能會出現(xiàn)元素不可用的問題
driver.manage().window().maximize();

上述是對爬蟲實例對象設置請求頭信息，由于我們爬取的網(wǎng)站采用JS+AJAX進行渲染頁面，所以需要js支持，必須設置setJavascriptEnabled(true)，否則無法運行js代碼，無法正常拿到渲染后的頁面。

//用于設置phantomjs運行器的位置
desiredCapabilities.setCapability(PhantomJSDriverService.PHANTOMJS_EXECUTABLE_PATH_PROPERTY,"G:\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe");

現(xiàn)在，我們有了實例對象了，可以進行網(wǎng)頁爬取了，以CSDN為例，給大家簡單說一下工具的使用。

假設我們現(xiàn)在需要獲取JAVA模塊的文章（標題+鏈接）,我們來看看應該怎么做。

String ;
PhantomJSDriver driver = create();
//獲取csdn主頁
driver.get(href);
//定位到Java按鈕
WebElement java = driver.findElementByLinkText("Java");
//執(zhí)行點擊
java.click();
//用于定位到Java模塊列表
WebElement feedlist_id = driver.findElementById("feedlist_id");
List<WebElement> liList = feedlist_id.findElements(By.className("clearfix"));
//循環(huán)遍歷li
for (WebElement li : liList) {
    WebElement title = li.findElement(By.className("title"));
    WebElement a = title.findElement(By.tagName("a"));
    System.out.println("標題：" + a.getText() + " 鏈接:" + a.getAttribute("href"));
}

常用的如下:

//通過id的方式獲取元素
public WebElement findElementById(String using)
//通過鏈接文本方式獲取單個元素
public WebElement findElementByLinkText(String using)
//通過標簽名方式獲取單個元素
public WebElement findElementByTagName(String using）
//通過標簽名方式獲取多個元素
public List<WebElement> findElementsByTagName(String using)
//通過name屬性方式獲取單個元素
public WebElement findElementByName(String using)
//通過name屬性方式獲取多個元素
public List<WebElement> findElementsByName(String using)
//通過類名方式獲取單個元素
public WebElement findElementByClassName(String using)
//通過類名方式獲取多個元素
public List<WebElement> findElementsByClassName(String using)
//通過css選擇器方式獲取單個元素
public WebElement findElementByCssSelector(String using)
//通過css選擇器方式獲取多個元素
public List<WebElement> findElementsByCssSelector(String using)
//通過xpath方式獲取單個元素
public WebElement findElementByXPath(String using)
//通過xpath方式獲取多個元素
public List<WebElement> findElementsByXPath(String using)
void click(); //觸發(fā)點擊事件
String getAttribute(String name)  //獲取屬性值
String getText()  //標簽文本
element.getAttribute("value")  //輸入框value值
clear()用于清空元素的內(nèi)容
sendKeys(CharSequence... keysToSend)用于給輸入框賦值

選擇下拉框元素

Select select = new Select(driver.findElementById("select")); 
//通過索引選擇 
select.selectByIndex(1);
//通過value值獲取 
select.selectByValue("zhangsan")
//通過文本值獲取
select.selectByVisibleText("張三");

單選和復選

driver.findElementById("radio"); radio.click(); //單選按鈕

復選框其實和單選按鈕一樣，都是定位元素，點擊元素，在選擇元素之前，我們可以通過isSelected()來判斷元素是否被選擇，isEnabled()來判斷元素是否被禁用。

表單提交

WebElement form = driver.findElementById("form");
//只能用于表單提交
form.submit();

在某些時候，有些網(wǎng)站在執(zhí)行的時候可能會打開另外一個窗口，這個時候，如果我們想要回到原先的窗口，應該怎么辦呢？

//獲取窗口的句柄 
String windowHandle = driver.getWindowHandle(); 
//另外一個窗口執(zhí)行... 
//另外一個窗口執(zhí)行結束后，我們可以通過switchTo()去返回到原先窗口 
driver.switchTo().window(windowHandle);

在某些AJAX請求進行渲染的頁面，可能我們不能立即獲取到渲染后的頁面，那么我們就需要進行等待，這里支持兩種類型的等待方式：

隱形等待

//針對全局設置，所有命令的超時時間都是10s，如果超過等待時間，則拋出異常。
driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);

顯示等待

WebDriverWait webDriverWait = new WebDriverWait(driver, 10);
webDriverWait.until(new ExpectedCondition<WebElement>() {
    @Override
    public WebElement apply(WebDriver webDriver) {
        return webDriver.findElement(By.id("toolber-keyword"));
    }
});

等待某個元素，最大等待10s，默認0.5s為搜索間隔，搜索到元素則停止等待。在使用獲取數(shù)據(jù)的網(wǎng)站中，使用該方式十分方便，若10s都沒有結果，那么則認定系統(tǒng)出現(xiàn)故障。

某些時候，我們可能通過getText()的方式獲取標簽的文本值并不會生效 ,phantomjs能夠執(zhí)行js語句，這可是一個好方式，我們可以通過寫js語句來解決大部分問題。執(zhí)行js語句Object executeScript(String script, Object... args); 該方法可以供我們執(zhí)行js語句，script代表我們的js語句，args代表散列值，接受參數(shù)使用arguments[0]依次來接受。示例如下：
假設我們想要獲取某個標簽的文本值

第一種方式：driver.executeScript("document.getElementById('blogClick').innerText")

第二種方式：

WebElement blogClick = driver.findElementById("blogClick");
driver.executeScript("arguments[0].innerText",blogClick);

采用爬蟲處理業(yè)務，如果是靜態(tài)網(wǎng)頁還比較好處理，如果是AJAX+JS渲染的動態(tài)頁面，在爬取的過程中，會遇到各種各樣的坑，就需要耐心研究了,到底怎么才能獲取到

到此這篇關于詳解Java中的OkHttp JSONP爬蟲的文章就介紹到這了,更多相關java OkHttp JSONP內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

Java讀取本地json文件及相應處理方法
今天小編就為大家分享一篇Java讀取本地json文件及相應處理方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-09-09
cookie+mybatis+servlet實現(xiàn)免登錄時長兩天半的整體流程
這篇文章主要介紹了cookie+mybatis+servlet實現(xiàn)免登錄時長兩天半,主要用到的技術有session、cookie、轉發(fā)、重定向、filter、和servlet，最重要的還是具體的來運用它們在前端頁面真正的搭建出一個應用,通過這個練習，對我們所學的web知識做一個整合，需要的朋友可以參考下
2022-10-10
JAVA實現(xiàn)redis分布式雙重加鎖的示例代碼
在高并發(fā)環(huán)境下,通過Redis分布式鎖實現(xiàn)數(shù)據(jù)唯一性校驗非常關鍵,為避免用戶數(shù)據(jù)重復,可使用Redis鎖或集合數(shù)據(jù)結構進行前置檢查,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
2024-10-10
Java import static及import原理區(qū)別解析
這篇文章主要介紹了Java import static及import原理區(qū)別解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2020-10-10
Java數(shù)組高級算法與Arrays類常見操作小結【排序、查找】
這篇文章主要介紹了Java數(shù)組高級算法與Arrays類常見操作,結合實例形式總結分析了Java數(shù)組常見的排序算法、查找算法相關原理、實現(xiàn)與使用技巧,需要的朋友可以參考下
2019-03-03
SpringBoot導入導出數(shù)據(jù)實現(xiàn)方法詳解
這篇文章主要介紹了SpringBoot導入導出數(shù)據(jù)實現(xiàn)方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習吧
2022-12-12
Java中的==和equals()區(qū)別小結
在Java編程中，理解==操作符和equals()方法的區(qū)別是至關重要的，本文主要介紹了Java中的==和equals()區(qū)別，具有一定的參考價值，感興趣的可以了解一下
2023-08-08
使用Spring注解@EventListener實現(xiàn)監(jiān)聽原理
這篇文章主要介紹了使用Spring注解@EventListener實現(xiàn)監(jiān)聽原理,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2024-08-08
MyBatis是如何實現(xiàn)日志模塊的詳解
這篇文章主要給大家介紹了關于MyBatis是如何實現(xiàn)日志模塊的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者使用MyBatis具有一定的參考學習價值，需要的朋友們下面來一起學習學習吧
2019-10-10
淺談Mybatis二級緩存的缺陷
本文主要介紹了淺談Mybatis二級緩存的缺陷，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2022-08-08