python使用心得之獲得github代碼庫列表
1.背景
項(xiàng)目需求，要求獲得github的repo的api，以便可以提取repo的數(shù)據(jù)進(jìn)行分析。研究了一天，終于解決了這個(gè)問題，雖然效率還是比較低下。
因?yàn)間ithub的那個(gè)顯示repo的api，列出了每個(gè)repo的詳細(xì)信息，而且是json格式的?，F(xiàn)在貌似還沒有找到可以分析多個(gè)json格式數(shù)據(jù)的方法，所以用的是比較蠢得splite加re的方法。如果大家有更好的方法，不發(fā)留言討論！
2.代碼
import re
import os
def GetUrl(num):
str = os.popen("curl -G https://api.github.com/repositories?since=%d"%(num)).read()
pattern = '"url"'
pattern1='repos'
urls=str.split(',\n')
for i in urls:
if pattern in i and pattern1 in i:
# text1=i.splite(':')
text=re.compile('"(.*?)"').findall(i)[1]
print text
if __name__=='__main__':
GetUrl(1000)
其中num的值指的是頁面的id，我們可以做一個(gè)循環(huán)，不斷增大num的值，就可以無限提取repo。因?yàn)間ithub的api對于流量是有限制的，所以這么做是一個(gè)可行的方法。
效果如下（提取下來的repo的api地址）：
https://api.github.com/repos/wycats/merb-core
https://api.github.com/repos/rubinius/rubinius
https://api.github.com/repos/mojombo/god
https://api.github.com/repos/vanpelt/jsawesome
https://api.github.com/repos/wycats/jspec
https://api.github.com/repos/defunkt/exception_logger
https://api.github.com/repos/defunkt/ambition
https://api.github.com/repos/technoweenie/restful-authentication
https://api.github.com/repos/technoweenie/attachment_fu
https://api.github.com/repos/topfunky/bong
https://api.github.com/repos/Caged/microsis
https://api.github.com/repos/anotherjesse/s3
https://api.github.com/repos/anotherjesse/taboo
https://api.github.com/repos/anotherjesse/foxtracs
https://api.github.com/repos/anotherjesse/fotomatic
https://api.github.com/repos/mojombo/glowstick
https://api.github.com/repos/defunkt/starling
https://api.github.com/repos/wycats/merb-more
https://api.github.com/repos/macournoyer/thin
https://api.github.com/repos/jamesgolick/resource_controller
https://api.github.com/repos/jamesgolick/markaby
https://api.github.com/repos/jamesgolick/enum_field
https://api.github.com/repos/defunkt/subtlety
https://api.github.com/repos/defunkt/zippy
相關(guān)文章
這篇文章主要介紹了Python中過濾字符串列表的方法，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2020-12-12
借助Paramiko通過Python實(shí)現(xiàn)linux遠(yuǎn)程登陸及sftp的操作
這篇文章主要介紹了借助Paramiko通過Python實(shí)現(xiàn)linux遠(yuǎn)程登陸及sftp,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-03-03
Python使用asyncio標(biāo)準(zhǔn)庫對異步IO的支持
Python中,所有程序的執(zhí)行都是單線程的,但可同時(shí)執(zhí)行多個(gè)任務(wù),不同的任務(wù)被時(shí)間循環(huán)（Event Loop）控制及調(diào)度,Asyncio是Python并發(fā)編程的一種實(shí)現(xiàn)方式；是Python 3.4版本引入的標(biāo)準(zhǔn)庫,直接內(nèi)置了對異步IO的支持2023-11-11
pytorch GAN生成對抗網(wǎng)絡(luò)實(shí)例
今天小編就為大家分享一篇pytorch GAN生成對抗網(wǎng)絡(luò)實(shí)例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01![詳解pandas df.iloc[]的典型用法](http://img.jbzj.com/images/xgimg/bcimg4.png)
本文主要介紹了詳解pandas df.iloc[]的典型用法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08
python 實(shí)現(xiàn)手機(jī)自動(dòng)撥打電話的方法(通話壓力測試)
今天小編就為大家分享一篇python 實(shí)現(xiàn)手機(jī)自動(dòng)撥打電話的方法(通話壓力測試)，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
這篇文章主要介紹了Python小技巧練習(xí)分享，文章基于python的相關(guān)內(nèi)容展開詳細(xì)的python小技巧內(nèi)容，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-05-05
這篇文章主要介紹了淺談一下Python究竟屬不屬于嵌入式語言,大家普遍的認(rèn)為C與C++才是標(biāo)準(zhǔn)的嵌入式語言，那么現(xiàn)在大火的Python算是一種嵌入式語言嗎,需要的朋友可以參考下2023-04-04
Python?工程師在日常的工作中，經(jīng)常會(huì)碰到解析和處理PDF文件的情況。本文將pdfplumber進(jìn)行PDF文件的讀取操作，感興趣的可以了解一下2022-08-08
這篇文章主要為大家詳細(xì)介紹了如何通過Python繪制九種二次曲面，文中的示例代碼講解詳細(xì)，具有一定的學(xué)習(xí)價(jià)值，感興趣的小伙伴可以跟隨小編一起了解一下2023-06-06