快捷導航

C#爬取動態(tài)網(wǎng)頁上信息得流程步驟

更新時間：2024年10月21日 08:46:15 作者：小碼編匠

動態(tài)內(nèi)容網(wǎng)站使用 JavaScript 腳本動態(tài)檢索和渲染數(shù)據(jù),爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的,這篇文章主要給大家詳細介紹了C#爬取動態(tài)網(wǎng)頁上信息得流程步驟,需要的朋友可以參考下

簡介

動態(tài)內(nèi)容網(wǎng)站使用 JavaScript 腳本動態(tài)檢索和渲染數(shù)據(jù)，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。

本文使用的爬取步驟如下：

使用 Selenium 獲取渲染后的 HTML 文檔
使用 HtmlAgilityPack 解析 HTML 文檔

新建項目，安裝需要的庫：

Selenium.WebDriver
HtmlAgilityPack

獲取 HTML 文檔

需要注意的主要是以下2點：

設(shè)置瀏覽器啟動參數(shù)：無頭模式、禁用GPU加速、設(shè)置啟動時窗口大小
等待頁面動態(tài)加載完成：等待5秒鐘，設(shè)置一個合適的時間即可

private static string GetHtml(string url)
{
    ChromeOptions options = new ChromeOptions();
    // 不顯示瀏覽器
    options.AddArgument("--headless");
    // GPU加速可能會導致Chrome出現(xiàn)黑屏及CPU占用率過高
    options.AddArgument("--nogpu");
    // 設(shè)置chrome啟動時size大小
    options.AddArgument("--window-size=10,10");

    using (var driver = new ChromeDriver(options))
    {
        try
        {
            driver.Manage().Window.Minimize();
            driver.Navigate().GoToUrl(url);
            // 等待頁面動態(tài)加載完成
            Thread.Sleep(5000);
            // 返回頁面源碼
            return driver.PageSource;
        }
        catch (NoSuchElementException)
        {
            Console.WriteLine("找不到該元素");
            return string.Empty;
        }
    }
}

解析 HTML 文檔

這里以B站為例，爬取B站UP主主頁上的視頻信息，如視頻的標題、鏈接、封面。

先定義一個類來保存信息：

class VideoInfo
{
    public string Title { get; set; }
    public string Href { get; set; }
    public string ImgUrl { get; set; }
}

定義解析函數(shù)，返回視頻信息列表：

private static List<VideoInfo> GetVideoInfos(string url)
{
    List<VideoInfo> videoInfos = new List<VideoInfo>();

    // 加載文檔
    var html = GetHtml(url);
    var htmlDoc = new HtmlDocument();
    htmlDoc.LoadHtml(html);

    // 解析文檔，先定位到視頻列表標簽
    var xpath = "/html/body/div[2]/div[4]/div/div/div[1]/div[2]/div/div";
    var htmlNodes = htmlDoc.DocumentNode.SelectNodes(xpath);

    // 循環(huán)解析它的子節(jié)點視頻信息
    foreach (var node in htmlNodes)
    {
        var titleNode = node.SelectSingleNode("a[2]");
        var imgNode = node.SelectSingleNode("a[1]/div[1]/picture/source[1]");

        var title = titleNode.InnerText;
        var href = titleNode.Attributes["href"].Value.Trim('/');
        var imgUrl = imgNode.Attributes["srcset"].Value.Split('@')[0].Trim('/');

        videoInfos.Add(new VideoInfo
        {
            Title = title,
            Href = href,
            ImgUrl = imgUrl
        });
    }
    return videoInfos;
}

視頻列表標簽的 XPath 路徑是通過瀏覽器調(diào)試工具，在指定標簽上右鍵 復(fù)制完整的XPath 得到：

分析代碼中的 node 節(jié)點時，html文本格式可能很亂，可以通過在線 HTML 代碼格式化工具格式后再進行分析。

測試

以B站UP主星瞳_Official 為例，爬取視頻信息：

static void Main(string[] args)
{
    var url = @"https://space.bilibili.com/401315430";
    var videoInfos = GetVideoInfos(url);
    foreach (var videoInfo in videoInfos)
    {
        Console.WriteLine(videoInfo.Title);
        Console.WriteLine(videoInfo.Href);
        Console.WriteLine(videoInfo.ImgUrl);
        Console.WriteLine();
    }
    Console.ReadKey();
}

結(jié)果如下：

等一下，好妹妹
www.bilibili.com/video/BV1uyxLeJEM9
i0.hdslb.com/bfs/archive/46a15065d1b6722a04696ffaaa2235287ceaa452.jpg

一口一個?你的超甜辣椒
www.bilibili.com/video/BV1AQsDeiEn1
i0.hdslb.com/bfs/archive/d93d47d67323ee284483e963ffed34fb9884cf61.jpg

這里只是演示爬取動態(tài)頁面的方法，如果想獲取B站UP主的視頻信息，建議直接使用 API 請求數(shù)據(jù)。