基于Python爬取fofa網(wǎng)頁端數(shù)據(jù)過程解析
更新時(shí)間：2020年07月13日 09:09:11 作者：aptkekeo
這篇文章主要介紹了基于Python爬取fofa網(wǎng)頁端數(shù)據(jù)過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
FOFA-網(wǎng)絡(luò)空間安全搜索引擎是網(wǎng)絡(luò)空間資產(chǎn)檢索系統(tǒng)（FOFA）是世界上數(shù)據(jù)覆蓋更完整的IT設(shè)備搜索引擎，擁有全球聯(lián)網(wǎng)IT設(shè)備更全的DNA信息。探索全球互聯(lián)網(wǎng)的資產(chǎn)信息，進(jìn)行資產(chǎn)及漏洞影響范圍分析、應(yīng)用分布統(tǒng)計(jì)、應(yīng)用流行度態(tài)勢感知等。
安裝環(huán)境：
pip install requests
pip install lxml
pip install fire
使用命令：
python fofa.py -s=title="你的關(guān)鍵字" -o="結(jié)果輸出文件" -c="你的cookie"
代碼如下：
import requests,time,base64,fire
from lxml import etree
def fofasc(s,o,c):
try:
sbase64 = (base64.b64encode(s.encode('utf-8'))).decode('utf-8')
cookies = {
"_fofapro_ars_session": c
}
headers = {
'User-Agent': 'Mozilla/5.0 (Linux; Android 7.1.2; PCRT00 Build/N2G48H; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/66.0.3359.158 Safari/537.36 fanwe_app_sdk sdk_type/android sdk_version_name/4.0.1 sdk_version/2020042901 screen_width/720 screen_height/1280',
}
for i in range(1,1000):
url = "https://www.fofa.so/result?q="+s+"&qbase64="+sbase64+"&full=true&page="+str(i)
r = requests.get(url, headers=headers, cookies=cookies)
soup = etree.HTML(r.text)
result = soup.xpath('//*[@id="ajax_content"]/div/div/div/a/text()')
print(result)
if result != []:
for rs in result:
with open(o,mode="a+") as f:
f.write(rs+"\n")
else:
print("已經(jīng)獲取不到任何數(shù)據(jù)，爬取完畢！")
break
time.sleep(2)
except KeyboardInterrupt:
print('用戶退出')
if __name__ == '__main__':
fire.Fire(fofasc)
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python網(wǎng)絡(luò)編程之xmlrpc模塊
這篇文章介紹了Python網(wǎng)絡(luò)編程之xmlrpc模塊，文中通過示例代碼介紹的非常詳細(xì)。對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-05-05
這篇文章主要介紹了Python os模塊介紹,需要的朋友可以參考下2014-11-11
這篇文章主要介紹了Python列表生成式應(yīng)用方式,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-06-06
使用Python3?Boto3包刪除AWS?CloudFormation的棧(Stacks)
這篇文章主要介紹了如何使用Python3?Boto3刪除AWS?CloudFormation的棧（Stacks）,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2024-01-01
python中的property及屬性與特性之間的優(yōu)先權(quán)
這篇文章主要介紹了python中的property及屬性與特性之間的優(yōu)先權(quán)，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-07-07
Django自定義User模型、認(rèn)證、權(quán)限控制的操作
這篇文章主要介紹了Django自定義User模型、認(rèn)證、權(quán)限控制的操作，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-04-04
Python實(shí)現(xiàn)html轉(zhuǎn)換為pdf報(bào)告(生成pdf報(bào)告)功能示例
這篇文章主要介紹了Python實(shí)現(xiàn)html轉(zhuǎn)換為pdf報(bào)告功能,結(jié)合實(shí)例形式分析了Python使用pdfkit實(shí)現(xiàn)HTML轉(zhuǎn)換為PDF的相關(guān)操作技巧與注意事項(xiàng),需要的朋友可以參考下2019-05-05
這篇文章主要介紹了關(guān)于Python如何調(diào)用攝像頭,文中提供了部分實(shí)現(xiàn)代碼和解決思路,需要的朋友可以參考下2023-04-04
這篇文章介紹了Mac下使用HomeBrew安裝python3的方法，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06
Pycharm Available Package無法顯示/安裝包的問題Error Loading Package Li
這篇文章主要介紹了Pycharm Available Package無法顯示/安裝包的問題Error Loading Package List解決，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09