零基礎(chǔ)寫Java知乎爬蟲之準備工作
開篇我們還是和原來一樣，講一講做爬蟲的思路以及需要準備的知識吧，高手們請直接忽略。
首先我們來縷一縷思緒，想想到底要做什么，列個簡單的需求。
需求如下：
1.模擬訪問知乎官網(wǎng)（http://www.zhihu.com/）
2.下載指定的頁面內(nèi)容，包括：今日最熱，本月最熱，編輯推薦
3.下載指定分類中的所有問答，比如：投資，編程，掛科
4.下載指定回答者的所有回答
5.最好有個一鍵點贊的變態(tài)功能（這樣我就可以一下子給雷倫的所有回答都點贊了我真是太機智了?。?/p>
那么需要解決的技術(shù)問題簡單羅列如下：
1.模擬瀏覽器訪問網(wǎng)頁
2.抓取關(guān)鍵數(shù)據(jù)并保存到本地
3.解決網(wǎng)頁瀏覽中的動態(tài)加載問題
4.使用樹狀結(jié)構(gòu)海量抓取知乎的所有內(nèi)容
好的，目前就想了這些。
接下來就是準備工作了。
1.確定爬蟲語言：由于以前寫過一系列爬蟲教程（點擊這里），百度貼吧，糗事百科，山東大學(xué)的績點查詢等都是用python寫的，所以這次決定使用Java來寫（喂完全沒有半毛錢聯(lián)系好嗎）。
2.科普爬蟲知識：網(wǎng)絡(luò)爬蟲，即Web Spider，是一個很形象的名字。把互聯(lián)網(wǎng)比喻成一個蜘蛛網(wǎng)，那么Spider就是在網(wǎng)上爬來爬去的蜘蛛。網(wǎng)絡(luò)蜘蛛通過網(wǎng)頁的鏈接地址來尋找網(wǎng)頁。具體的入門介紹請（點擊這里）。
3.準備爬蟲環(huán)境：Jdk和Eclipse的安裝和配置就不多說啦。這里啰嗦一句，一個好用的瀏覽器對于爬蟲來說非常重要，因為首先你需要自己瀏覽網(wǎng)頁知道你需要的東西在哪里，你才能告訴你的爬蟲們?nèi)ツ睦镌趺磁?。個人推薦火狐瀏覽器，或者谷歌瀏覽器，它們的右鍵審查元素和查看源代碼的功能都非常強大。
下面我們開始正式的爬蟲之旅！~具體講些什么呢，恩，這是個問題，讓我好好想想，別急^_^
相關(guān)文章
這篇文章主要介紹了Redis六大數(shù)據(jù)類型使用方法詳解,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-12-12
根據(jù)URL下載圖片至客戶端、服務(wù)器的簡單實例
下面小編就為大家?guī)硪黄鶕?jù)URL下載圖片至客戶端、服務(wù)器的簡單實例。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2016-12-12
這篇文章主要介紹了如何養(yǎng)成良好java代碼編碼規(guī)范，規(guī)范需要平時編碼過程中注意，是一個慢慢養(yǎng)成的好習(xí)慣，下面小編就帶大家來一起詳細了解一下吧2019-06-06
Spring Boot中快速操作Mongodb數(shù)據(jù)庫指南
這篇文章主要給大家介紹了關(guān)于Spring Boot中如何快速操作Mongodb的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-05-05
Java模擬棧和隊列數(shù)據(jù)結(jié)構(gòu)的基本示例講解
這篇文章主要介紹了Java模擬棧和隊列數(shù)據(jù)結(jié)構(gòu)的基本示例,棧的后進先出和隊列的先進先出是數(shù)據(jù)結(jié)構(gòu)中最基礎(chǔ)的知識,本文則又對Java實現(xiàn)棧和隊列結(jié)構(gòu)的方法進行了細分,需要的朋友可以參考下2016-04-04
Druid 是阿里巴巴開源平臺上一個數(shù)據(jù)庫連接池實現(xiàn)，結(jié)合了 C3P0、DBCP 等 DB 池的優(yōu)點，同時加入了日志監(jiān)控。這篇文章主要介紹了SpringBoot整合Druid、Redis的實例詳解,感興趣的朋友跟隨小編一起看看吧2022-02-02
這篇文章主要介紹了java中生成任意之間數(shù)的隨機數(shù)詳解,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-09-09
這篇文章主要介紹了基于SpringBoot實現(xiàn)大文件分塊上傳功能,實現(xiàn)原理其實很簡單,核心就是客戶端把大文件按照一定規(guī)則進行拆分,比如20MB為一個小塊,分解成一個一個的文件塊,然后把這些文件塊單獨上傳到服務(wù)端,需要的朋友可以參考下2024-09-09
java實現(xiàn)數(shù)字轉(zhuǎn)大寫的方法
這篇文章主要介紹了 java實現(xiàn)數(shù)字轉(zhuǎn)大寫的方法的相關(guān)資料,希望通過本文能幫助到大家，讓大家實現(xiàn)這樣的功能，需要的朋友可以參考下2017-10-10
mybatis plus 關(guān)聯(lián)數(shù)據(jù)庫排除不必要字段方式
這篇文章主要介紹了mybatis plus 關(guān)聯(lián)數(shù)據(jù)庫排除不必要字段方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-03-03