快捷導(dǎo)航

java爬蟲之使用HttpClient模擬瀏覽器發(fā)送請求方法詳解

更新時間：2020年07月27日 09:25:35 作者：艾福

這篇文章主要介紹了java爬蟲之使用HttpClient模擬瀏覽器發(fā)送請求方法詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

0. 摘要

0.1 添加依賴

<dependency>
  <groupId>org.apache.httpcomponents</groupId>
  <artifactId>httpclient</artifactId>
  <version>4.5.2</version>
</dependency>

0.2 代碼

//1. 打開瀏覽器 創(chuàng)建httpclient對象
CloseableHttpClient httpClient = HttpClients.createDefault();
//2. 輸入網(wǎng)址
HttpGet httpGet = new HttpGet("http://www.baidu.com");
//3. 發(fā)送請求
CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
//4. 響應(yīng)結(jié)果
HttpEntity httpEntity = httpResponse.getEntity();
//5. 解析結(jié)果
String result = EntityUtils.toString(httpEntity, "utf-8");
System.out.println(result);

1. 實操

1.1 添加依賴

1.1.1 找到 pom.xml 添加依賴

1.1.2 依賴代碼

<dependency>
  <groupId>org.apache.httpcomponents</groupId>
  <artifactId>httpclient</artifactId>
  <version>4.5.2</version>
</dependency>

1.2 添加 TestHttpClient 類

1.2.1 創(chuàng)建類文件 com.aifu.TestHttpClient

1.2.2 添加代碼

public static void main(String[] args) throws IOException {
  //1. 打開瀏覽器 創(chuàng)建httpclient對象
  CloseableHttpClient httpClient = HttpClients.createDefault();
  //2. 輸入網(wǎng)址
  HttpGet httpGet = new HttpGet("http://www.baidu.com");
  //3. 發(fā)送請求
  CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
  //4. 響應(yīng)結(jié)果
  HttpEntity httpEntity = httpResponse.getEntity();
  //5. 解析結(jié)果
  String result = EntityUtils.toString(httpEntity, "utf-8");
  System.out.println(result);
}

1.3 運行

1.3.1 點擊綠標(biāo)運行或者快捷鍵 ctrl + alt +F10

到此這篇關(guān)于java爬蟲之使用HttpClient模擬瀏覽器發(fā)送請求方法詳解的文章就介紹到這了,更多相關(guān)java爬蟲HttpClient模擬瀏覽器發(fā)送請求內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

相關(guān)文章

maven打包時候修改包名稱帶上git版本號和打包時間方式
這篇文章主要介紹了maven打包時候修改包名稱帶上git版本號和打包時間方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2023-04-04
Java實現(xiàn)根據(jù)模板讀取PDF并替換指定內(nèi)容
在實際開發(fā)里,經(jīng)常會遇到需要根據(jù)?PDF?模板文檔生成特定?PDF?的需求,本文將利用Java中的iText實現(xiàn)讀取?PDF?模板文檔并替換指定內(nèi)容,最后重新生成新PDF,感興趣的可以了解下
2025-02-02
Spring boot實現(xiàn)熱部署的兩種方式詳解
這篇文章主要介紹了Spring boot實現(xiàn)熱部署的兩種方式，這兩種方法分別是使用 Spring Loaded和使用spring-boot-devtools進行熱部署，文中給出了詳細(xì)示例代碼和介紹，需要的朋友可以參考學(xué)習(xí)，下面來一起看看吧。
2017-04-04
用Java實現(xiàn)希爾排序的示例
問題：現(xiàn)有一段程序S，可以對任意n個數(shù)進行排序。如果現(xiàn)在需要對n^2個數(shù)進行排序，最少需要調(diào)用S多少次？只允許調(diào)用S，不可以做別的操作。我們用希爾排序來做解決這個
2013-11-11
SpringBoot實現(xiàn)對超大文件進行異步壓縮下載的使用示例
在Web應(yīng)用中,文件下載功能是一個常見的需求,本文介紹了SpringBoot實現(xiàn)對超大文件進行異步壓縮下載的使用示例,具有一定的參考價值,感興趣的可以了解一下,
2023-09-09
Java面試題及答案集錦（基礎(chǔ)題122道，代碼題19道）
本文是小編收集整理的關(guān)于java基礎(chǔ)面試題及答案集錦，基礎(chǔ)題目有122道，代碼題目有19道，非常不錯，值得收藏，需要的朋友參考下
2017-01-01
JavaMail實現(xiàn)發(fā)送郵件(QQ郵箱)
這篇文章主要為大家詳細(xì)介紹了JavaMail實現(xiàn)發(fā)送郵件(QQ郵箱)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2022-08-08
SpringBoot配置外部靜態(tài)資源映射問題
這篇文章主要介紹了SpringBoot配置外部靜態(tài)資源映射問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2022-11-11
SpringBoot中操作Bean的生命周期的方法總結(jié)
在SpringBoot應(yīng)用中,管理和操作Bean的生命周期是一項關(guān)鍵的任務(wù),這不僅涉及到如何創(chuàng)建和銷毀Bean,還包括如何在應(yīng)用的生命周期中對Bean進行精細(xì)控制,本文給大家總結(jié)了SpringBoot中操作Bean的生命周期的方法,需要的朋友可以參考下
2023-12-12
java實現(xiàn)簡單的掃雷小游戲
這篇文章主要為大家詳細(xì)介紹了java實現(xiàn)簡單的掃雷小游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2021-05-05