import asyncio
import aiohttp
from aiohttp_socks import ProxyConnector
from bs4 import BeautifulSoup
# 定義目標(biāo)網(wǎng)站和代理服務(wù)器的參數(shù)
url = "http://fund.eastmoney.com/fund.html#os_0;isall_0;ft_;pt_1"
proxy = "socks5://16yun:16ip@www.16yun.cn:11111"
# 定義異步函數(shù)來發(fā)送GET請(qǐng)求，并使用代理服務(wù)器來連接目標(biāo)網(wǎng)站
async def fetch(session, url):
    try:
        async with session.get(url) as response:
            # 檢查響應(yīng)狀態(tài)碼是否為200，否則拋出異常
            if response.status != 200:
                raise Exception(f"Bad status code: {response.status}")
            # 返回響應(yīng)內(nèi)容的文本格式
            return await response.text()
    except Exception as e:
        # 打印異常信息，并返回None
        print(e)
        return None
# 定義異步函數(shù)來處理響應(yīng)結(jié)果，并解析HTML內(nèi)容
async def parse(html):
    # 如果響應(yīng)結(jié)果不為空，則進(jìn)行解析操作
    if html is not None:
        # 使用bs4庫來創(chuàng)建BeautifulSoup對(duì)象，并指定解析器為html.parser
        soup = BeautifulSoup(html, "html.parser")
        # 提取網(wǎng)頁中的標(biāo)題標(biāo)簽，并打印其文本內(nèi)容
        title = soup.find("title")
        print(title.text)
    else:
        # 否則打印None表示無效結(jié)果
        print(None)
# 定義異步函數(shù)來統(tǒng)計(jì)成功次數(shù)，并打印結(jié)果
async def count(results):
    # 初始化成功次數(shù)為0
    success = 0
    # 遍歷所有的結(jié)果，如果不為空，則增加成功次數(shù)，否則跳過
    for result in results:
        if result is not None:
            success += 1
    # 打印總共的請(qǐng)求數(shù)和成功次數(shù)    
    print(f"Total requests: {len(results)}")
    print(f"Success requests: {success}")
# 定義異步主函數(shù)來創(chuàng)建并運(yùn)行多個(gè)協(xié)程任務(wù)，并控制并發(fā)數(shù)量和超時(shí)時(shí)間等參數(shù)    
async def main():
    # 創(chuàng)建一個(gè)aiohttp_socks.ProxyConnector對(duì)象，用來設(shè)置代理服務(wù)器的參數(shù)    
    connector = ProxyConnector.from_url(proxy)
    # 創(chuàng)建一個(gè)aiohttp.ClientSession對(duì)象，用來發(fā)送HTTP請(qǐng)求，并傳入connector參數(shù)    
    async with aiohttp.ClientSession(connector=connector) as session:
        # 創(chuàng)建一個(gè)空列表，用來存儲(chǔ)所有的協(xié)程任務(wù)        
        tasks = []
        # 循環(huán)10000次，每次創(chuàng)建一個(gè)fetch函數(shù)的協(xié)程任務(wù)，并添加到列表中        
        for i in range(10000):
            task = asyncio.create_task(fetch(session, url))
            tasks.append(task)
        # 使用asyncio.gather函數(shù)來收集并執(zhí)行所有的協(xié)程任務(wù)，并返回一個(gè)包含所有結(jié)果的列表        
        results = await asyncio.gather(*tasks)
        # 創(chuàng)建一個(gè)空列表，用來存儲(chǔ)所有的解析任務(wù)        
        parse_tasks = []
         for result in results:
             parse_task = asyncio.create_task(parse(result))
             parse_tasks.append(parse_task)
         await asyncio.gather(*parse_tasks)   
         await count(results)
# 在程序入口處調(diào)用異步主函數(shù)，并啟動(dòng)事件循環(huán)         
if __name__ == "__main__":
     asyncio.run(main())