from selenium.webdriver.chrome.options import Options
import pandas as pd
import math
from selenium import webdriver
import time

# 配置chrome的參數(shù)
options = Options()
options.add_argument('--headless')
# options.add_experimental_option('excludeSwitches', ['enable-automation']) #避開(kāi)驗(yàn)證碼
# 獲取一個(gè)瀏覽器對(duì)象
browser = webdriver.Chrome(chrome_options=options)
browser.get("C:\\Users\\XXXX\\XXXX.html")
# 打印整個(gè)表格信息
# print(browser.find_element_by_xpath("http://*[@id=\"versions-bom-layout\"]/div/div[5]/div/div/div/div[1]/table/tbody").text)
?
?
data = [] ?# 建立空列表存儲(chǔ)表格信息
# 獲取總頁(yè)數(shù)（通過(guò)二次定位方法進(jìn)行定位）
# total_pages1 = len(browser.find_element_by_class_name("pagination").find_elements_by_tag_name("li")) - 2
# print("total_pages is %s" % (total_pages1))
?
# 共有多少個(gè)組件需要提取
total_num = \
? ? browser.find_element_by_xpath("http://*[@id=\"versions-bom-layout\"]/div/div[5]/div/div/div/div[1]/div").text.split(
? ? ? ? '共')[1]
print(f'total_num====：：：：：：：：{total_num}')
?
total_pages = math.ceil(int(total_num) / 100) + 1 ?# 每頁(yè)顯示100個(gè)組件, 獲取總頁(yè)數(shù)
print(f'total_pages====：：：：：：：：{total_pages}')
time.sleep(10) ?#
?
# total_pages = len(browser.find_element_by_tag_name('select').find_element_by_tag_name('option'))
for i in range(1, total_pages): ?# page:總共有total_pages-1頁(yè)
? ? # # 獲取分頁(yè)輸入框標(biāo)簽的定位
? ? # inputpage = browser.find_element_by_xpath("http://*[@id='pager_center']/table/tbody/tr/td[5]/input")
? ? # # 首先清除輸入框里面的數(shù)字
? ? # inputpage.clear()
? ? # # 然后發(fā)送頁(yè)碼，我們?yōu)榱朔奖?，就把第一?yè)也寫(xiě)在了里面
? ? # inputpage.send_keys(str(i))
? ? # # 最后模擬鍵盤(pán)點(diǎn)擊Enter鍵
? ? # inputpage.send_keys(Keys.ENTER)
? ? # # 為了是數(shù)據(jù)刷新出來(lái)，做了一個(gè)小小的死延時(shí)處理
?
? ? time.sleep(10) ?# 讓瀏覽器先加載一下動(dòng)態(tài)頁(yè)面
? ? t_body = browser.find_element_by_tag_name('tbody') ?# 定位表格主體
? ? tr_list = t_body.find_elements_by_tag_name('tr') ?# 定位表格每一行
? ? numbers = len(tr_list)
? ? print(f'tr_list[0].text===={tr_list[0].text}')
?
? ? # for i in range(numbers):
? ? for tr in tr_list:
? ? ? ? td_list = tr.find_elements_by_tag_name('td') ?# 定位表格每個(gè)單元格
? ? ? ? lst = [] ?# 建立空列表存儲(chǔ)每行信息
? ? ? ? for td in td_list:
? ? ? ? ? ? # lst.append("B-momv2core-121-anyreport-BinaryScan") ?# 添加版本信息
? ? ? ? ? ? lst.append(td.text) ?# 添加每個(gè)單元格的文本信息
? ? ? ? ? ? href = td_list[4].find_element_by_tag_name('a').get_attribute("href") ?# 獲當(dāng)前行第5個(gè)td單元格的超鏈接
? ? ? ? print(u"第n行第n列的text:", href)
? ? ? ? lst.append(href) ?# print(u"第一行第二列的text:", href) ?# 添加文件鏈接
? ? ? ? data.append(lst) ?# 添加每行信息
?
? ? # 點(diǎn)擊下一頁(yè)邏輯判斷
? ? # 如果table只有1頁(yè)，不作處理，直接退出循環(huán)
? ? # 如果table只有2頁(yè)，點(diǎn)擊下一頁(yè)處理?xiàng)l件（total_pages == 3 and i == 1）
? ? # 如果table2頁(yè)以上，點(diǎn)擊下一頁(yè)處理?xiàng)l件（total_pages > 3 and i < (total_pages - 1)）
? ? if total_pages == 3 and i == 1:
? ? ? ? browser.find_element_by_xpath("http://*[contains(text(),'下一頁(yè)')]").click()
?
? ? elif total_pages > 3 and i < (total_pages - 1):
? ? ? ? browser.find_element_by_xpath("http://*[contains(text(),'下一頁(yè)')]").click()
?
df = pd.DataFrame(data,
? ? ? ? ? ? ? ? ? columns=['選擇', '策略', '審核', '版本組', '匹配數(shù)', '3', '4', '5', '6', '7', '8', '9', '10', '來(lái)源鏈接'])
df.to_csv('獲取未知xxx.csv', encoding='utf_8_sig')
browser.quit()