最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python實現(xiàn)微博動態(tài)圖片爬取詳解

 更新時間:2022年03月07日 15:17:00   作者:Deng872347348  
這篇文章主要為大家介紹了如何利用Python中的爬蟲實現(xiàn)微博動態(tài)圖片的爬取,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起動手試一試

由于微博的網(wǎng)頁端有反爬蟲,需要登錄,所以我們換個思路,曲線救國。

我們找到微博在瀏覽器上面用于手機端的調(diào)試的APL,如何找到呢?

我這邊直接附上微博的手機端的地址:https://m.weibo.cn/

1.模擬搜索用戶

搜索一個用戶獲取到的api:

https://m.weibo.cn/api/container/getIndex?containerid=100103type=1&q=半半子&page_type=searchall

1.1 對api內(nèi)參數(shù)進行處理

containerid=100103type=1&q=半半子 ——> containerid=100103type%3D1%26q%3D%E5%8D%8A%E5%8D%8A%E5%AD%90_

這個參數(shù)需要提前轉(zhuǎn)碼,否則無法獲取數(shù)據(jù)

1.2 對用戶名進行判斷,通過后提取uid

2.獲取more參數(shù)

GET

api : https://m.weibo.cn/profile/info?uid=2830125342

2.1 提取并處理more參數(shù)

3.循環(huán)提取圖片id

GET

api : https://m.weibo.cn/api/container/getIndex?containerid=2304132830125342_-_WEIBO_SECOND_PROFILE_WEIBO&page_type=03&page=1

3.1 提取圖片id——>pic_id

3.2 獲取發(fā)送圖片用戶

3.3 根據(jù)動態(tài)創(chuàng)建時間生成用戶唯一識別碼

4.下載圖片

我們從瀏覽器抓包中就會獲取到后臺服務(wù)器發(fā)給瀏覽器的圖片鏈接

https://wx2.sinaimg.cn/large/pic_id.jpg 

瀏覽器打開這個鏈接就可以直接下載圖片

爬取完整代碼:

import os
import sys
import time
from urllib.parse import quote
 
import requests
 
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'
}
 
 
def time_to_str(c_at):
    ti = time.strptime(c_at, '%a %b %d %H:%M:%S +0800 %Y')
    time_str = time.strftime('%Y%m%d%H%M%S', ti)
    return time_str
 
 
# 1. 搜索用戶,獲取uid
# 2. 通過uid獲取空間動態(tài)關(guān)鍵參數(shù)
# 3. 獲取動態(tài)內(nèi)容
# 4. 提取圖片參數(shù)
# 5. 下載圖片
 
# 1. 搜索用戶,獲取uid
# ========= 用戶名 =========
# 輸入不同的用戶名可切換下載的用戶圖片
# 用戶名需要完全匹配
name = '半半子_'
# =========================
 
con_id = f'100103type=1&q={name}'
# 這個條件需要轉(zhuǎn)碼
con_id = quote(con_id, 'utf-8')
user_url = f'https://m.weibo.cn/api/container/getIndex?containerid={con_id}&page_type=searchall'
user_json = requests.get(url=user_url, headers=headers).json()
user_cards = user_json['data']['cards']
for card_num in range(len(user_cards)):
    if 'mblog' in user_cards[card_num]:
        if user_cards[card_num]['mblog']['user']['screen_name'] == name:
            print(f'正在獲取{name}的空間')
            # 2. 通過uid獲取空間動態(tài)關(guān)鍵參數(shù)
            user_id = user_cards[card_num]['mblog']['user']['id']
            info_url = f'https://m.weibo.cn/profile/info?uid={user_id}'
            info_json = requests.get(url=info_url, headers=headers).json()
            more_card = info_json['data']['more'].split("/")[-1]
            break
file_name = 'weibo'
if not os.path.exists(file_name):
    os.mkdir(file_name)
 
if len(more_card) == 0:
    sys.exit()
page_type = '03'
page = 0
while True:
    # 3. 獲取動態(tài)內(nèi)容
    page += 1
    url = f'https://m.weibo.cn/api/container/getIndex?containerid={more_card}&page_type={page_type}&page={page}'
    param = requests.get(url=url, headers=headers).json()
    cards = param['data']['cards']
    print(f'第 {page} 頁')
    for i in range(len(cards)):
        card = cards[i]
        if card['card_type'] != 9:
            continue
        mb_log = card['mblog']
        # 4. 提取圖片參數(shù)
        # 獲取本人的圖片
        pic_ids = mb_log['pic_ids']
        user_name = mb_log['user']['screen_name']
        created_at = mb_log['created_at']
        if len(pic_ids) == 0:
            # 獲取轉(zhuǎn)發(fā)的圖片
            if 'retweeted_status' not in mb_log:
                continue
            if 'pic_ids' not in mb_log['retweeted_status']:
                continue
            pic_ids = mb_log['retweeted_status']['pic_ids']
            user_name = mb_log['retweeted_status']['user']['screen_name']
            created_at = mb_log['retweeted_status']['created_at']
        time_name = time_to_str(created_at)
        pic_num = 1
        print(f'======== {user_name} ========')
        # 5. 下載圖片
        for pic_id in pic_ids:
            pic_url = f'https://wx2.sinaimg.cn/large/{pic_id}.jpg'
            pic_data = requests.get(pic_url, headers)
            # 文件名 用戶名_日期(年月日時分秒)_編號.jpg
            # 例:半半子__20220212120146_1.jpg
            with open(f'{file_name}/{user_name}_{time_name}_{pic_num}.jpg', mode='wb') as f:
                f.write(pic_data.content)
                print(f'    正在下載:{pic_id}.jpg')
            pic_num += 1
        time.sleep(2)

到此這篇關(guān)于Python實現(xiàn)微博動態(tài)圖片爬取詳解的文章就介紹到這了,更多相關(guān)Python微博圖片爬取內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • 基于Python實現(xiàn)PDF動畫翻頁效果的閱讀器

    基于Python實現(xiàn)PDF動畫翻頁效果的閱讀器

    在這篇博客中,我們將深入分析一個基于 wxPython 實現(xiàn)的 PDF 閱讀器程序,該程序支持加載 PDF 文件并顯示頁面內(nèi)容,同時支持頁面切換動畫效果,文中有詳細的代碼示例,需要的朋友可以參考下
    2025-01-01
  • Keras-多輸入多輸出實例(多任務(wù))

    Keras-多輸入多輸出實例(多任務(wù))

    這篇文章主要介紹了Keras-多輸入多輸出實例(多任務(wù)),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-06-06
  • Python argparse命令參數(shù)與config配置參數(shù)示例深入詳解

    Python argparse命令參數(shù)與config配置參數(shù)示例深入詳解

    這篇文章主要介紹了Python argparse命令參數(shù)與config配置參數(shù),argparse是Python內(nèi)置的一個用于命令項選項與參數(shù)解析的模塊,通過在程序中定義好我們需要的參數(shù),然后在程序啟動命令行傳遞我們想要改變的參數(shù)
    2023-03-03
  • Python @property裝飾器原理解析

    Python @property裝飾器原理解析

    這篇文章主要介紹了Python @property裝飾器原理解析,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-01-01
  • 在Python中將元組轉(zhuǎn)換為列表的方法詳解

    在Python中將元組轉(zhuǎn)換為列表的方法詳解

    這兩種Python 數(shù)據(jù)類型看起來很相似,但在上下文中卻有不同的用法,元組和列表之間的主要區(qū)別在于它們的可變性,僅當(dāng)您需要修改元素時才會將元組轉(zhuǎn)換為列表,本文現(xiàn)在我們將深入研究將元組轉(zhuǎn)換為列表的不同方法,需要的朋友可以參考下
    2023-09-09
  • python中Event實現(xiàn)線程間同步介紹

    python中Event實現(xiàn)線程間同步介紹

    這篇文章主要介紹了python中Event實現(xiàn)線程間同步,Event是python線程間同步一種常用的方法,下列內(nèi)容總結(jié)需要的朋友可以參考一下
    2022-04-04
  • python實現(xiàn)簡單日期工具類

    python實現(xiàn)簡單日期工具類

    這篇文章主要為大家詳細介紹了python實現(xiàn)簡單日期工具類,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2019-04-04
  • 詳解Python中defaultdict的具體使用

    詳解Python中defaultdict的具體使用

    defaultdict 是一個類似字典的容器,屬于 collections 模塊, 它是字典的子類, 因此它具有詞典的所有功能,下面小編就來和大家詳細聊聊defaultdict的具體使用吧
    2023-10-10
  • 詳解pandas使用drop_duplicates去除DataFrame重復(fù)項參數(shù)

    詳解pandas使用drop_duplicates去除DataFrame重復(fù)項參數(shù)

    這篇文章主要介紹了詳解pandas使用drop_duplicates去除DataFrame重復(fù)項參數(shù),文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-08-08
  • 解決python3中解壓zip文件是文件名亂碼的問題

    解決python3中解壓zip文件是文件名亂碼的問題

    下面小編就為大家分享一篇解決python3中解壓zip文件是文件名亂碼的問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-03-03

最新評論

太仆寺旗| 磐安县| 承德县| 九寨沟县| 分宜县| 行唐县| 青州市| 东阿县| 玛沁县| 湟中县| 南投县| 丹东市| 贵溪市| 乐亭县| 伊金霍洛旗| 赤水市| 石河子市| 高安市| 左贡县| 平乐县| 华宁县| 富阳市| 且末县| 浦江县| 红原县| 寿宁县| 雅安市| 和平县| 宣威市| 仪征市| 焦作市| 兴国县| 丹江口市| 曲靖市| 湄潭县| 汉沽区| 涞源县| 建平县| 长沙县| 黄骅市| 旺苍县|