使用python實現(xiàn)簡單爬取網頁數(shù)據(jù)并導入MySQL中的數(shù)據(jù)庫

更新時間：2023年06月20日 09:59:34 作者：A等天晴

這篇文章主要為大家詳細介紹了如何使用 python 實現(xiàn)簡單爬取網頁數(shù)據(jù)并導入 MySQL 中的數(shù)據(jù)庫，對我們的學習或工作有一定的幫助,需要的朋友可以參考下

前言：要使用 Python 爬取網頁數(shù)據(jù)并將數(shù)據(jù)導入 MySQL 數(shù)據(jù)庫，您需要使用 Requests 庫進行網頁抓取，使用 BeautifulSoup 庫對抓取到的 HTML 進行解析，并使用 PyMySQL 庫與 MySQL 進行交互。

以下是一個簡單的示例：

1. 安裝所需庫：

pip install requests beautifulsoup4 pymysql

2. 導入所需庫：

import requests
from bs4 import BeautifulSoup
import pymysql

3. 建立數(shù)據(jù)庫連接：

db = pymysql.connect(
    host='localhost',
    user='root',
    password='password',
    db='mydatabase'
)

這里我們假設您已經在本地搭建了 MySQL 數(shù)據(jù)庫，并創(chuàng)建了一個名為 `mydatabase` 的數(shù)據(jù)庫。您需要根據(jù)實際情況修改主機、用戶名、密碼和數(shù)據(jù)庫名。

4. 使用 Requests 庫抓取網頁：

url = 'http://www.example.com'
response = requests.get(url)
html = response.text

5. 使用 BeautifulSoup 庫解析 HTML：

soup = BeautifulSoup(html, 'html.parser')
data = soup.find_all('a')

6. 使用 PyMySQL 庫將數(shù)據(jù)導入數(shù)據(jù)庫：

cursor = db.cursor()
for item in data:
    title = item.string
    url = item.get('href')
    sql = f"INSERT INTO mytable (title, url) VALUES ('{title}', '{url}')"
    cursor.execute(sql)
db.commit()

這里我們使用了 PyMySQL 庫的 `cursor` 方法創(chuàng)建游標，然后遍歷解析后的數(shù)據(jù)，并使用 SQL 語句將數(shù)據(jù)插入到數(shù)據(jù)庫表中。

完整的示例代碼如下：

import requests
from bs4 import BeautifulSoup
import pymysql
# 建立數(shù)據(jù)庫連接
db = pymysql.connect(
    host='localhost',
    user='root',
    password='password',
    db='mydatabase'
)
# 抓取網頁
url = 'http://www.example.com'
response = requests.get(url)
html = response.text
# 解析 HTML
soup = BeautifulSoup(html, 'html.parser')
data = soup.find_all('a')
# 將數(shù)據(jù)導入數(shù)據(jù)庫
cursor = db.cursor()
for item in data:
    title = item.string
    url = item.get('href')
    sql = f"INSERT INTO mytable (title, url) VALUES ('{title}', '{url}')"
    cursor.execute(sql)
db.commit()
# 關閉數(shù)據(jù)庫連接
db.close()

注意，這里示例代碼僅為演示使用，并未對 SQL 注入攻擊進行防范，請勿直接在生產環(huán)境中使用。同時，您也需要根據(jù)實際情況修改表名、字段名和 SQL 語句等內容。

這只是單純的思路，僅供參考。

到此這篇關于使用python實現(xiàn)簡單爬取網頁數(shù)據(jù)并導入MySQL中的數(shù)據(jù)庫的文章就介紹到這了,更多相關python 爬取網頁數(shù)據(jù)導入MySQL內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: