Python查詢oracle數(shù)據(jù)庫速度慢的解決方案
如下所示：
conn = cx_Oracle.connect('username/password@ip:port/servername')
cur = conn.cursor()
cur.execute('SELECT * FROM "db"."table"')
cur是一個迭代器,不要用fetchall一次性取完數(shù)據(jù)
直接 for row in cur 即可取數(shù)據(jù)
使用：sqlalchemy
MySQL-Python
mysql+mysqldb://<user>:<password>@<host>[:<port>]/<dbname>
pymysql
mysql+pymysql://<username>:<password>@<host>/<dbname>[?<options>]
MySQL-Connector
mysql+mysqlconnector://<user>:<password>@<host>[:<port>]/<dbname>
cx_Oracle
oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...]
create_engine('oracle+cx_oracle://{a}:@{c}:wppm3vysvbp/?service_name={e}'.format(a,b,c,d,e))
create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s/%(database)s?charset=utf8' % laoshifu_info)
df = pd.read_sql_table(table_name="table_name", con=engine)
（the function to_sql is case-sensitive，F(xiàn)ound the root cause from DBMS (mysql) autoconvert the table name to lowercase.）
df = pd.read_sql_query(sql=sql,con=engine) # 很慢
ordf = pd.read_sql("SELECT * FROM db.table ",engine,chunksize=50000)
dflist = []
for chunk in ordf:
dflist.append(chunk)
df = pd.concat(dflist)
補充：Python3 Cx_oracle 的一些使用技巧
Cx_oracle的一些使用技巧
工作中的數(shù)據(jù)庫采用oracle。訪問oracle數(shù)據(jù)庫一般都采用cx_oracle包來完成，API很清晰，操作效率也比較高，而且oracle官方好像對cx_oracle也非常支持，提供了豐富的文檔。這里討論一些使用技巧，作為記錄，可能對你也有用。
我最近用python寫了一個小工具，這個工具根據(jù)客戶端的請求查詢數(shù)據(jù)庫，并將結果集以json的方式返回。請求的格式如下：
{
fields : [
{name : "project_id", type : "string"},
{name : "project_name", type : "string"}
],
sql : "select t.project_id, t.project_name from dp_project t"
}
即，客戶端描述自己想要的元數(shù)據(jù)信息(字段名稱，字段類型)，以及SQL語句，服務器端根據(jù)此信息查詢數(shù)據(jù)庫，并將返回組織成客戶端在fields中描述的那樣。
cx_oracle默認從cursor中fetch出來的數(shù)據(jù)是一個元組，按照SQL中的順序組織，但是我希望返回的是一個字典結構，這個可以通過設置cursor的rowfactory屬性來實現(xiàn)，定義一個rowfactory的回調(diào)函數(shù)：
def makedict(self, cursor):
cols = [d[0] for d in cursor.description]
def createrow(*args):
return dict(zip(cols, args))
return createrow
這個函數(shù)返回一個函數(shù)：createrow?？赡苡悬c繞口，仔細想想就清晰了。cursor中帶有足夠的信息來生成這個字典，如cursor的description的值為：
[
('PROJECT_ID', <;type 'cx_Oracle.STRING'>, 40, 40, 0, 0, 0),
('PROJECT_NAME', <;type 'cx_Oracle.STRING'>, 50, 50, 0, 0, 1)
]
我們需要的是cursor.description的第一列，zip函數(shù)將cols和默認的那個元組合成為一個新的元組，再用dict轉換為一個新的字典對象返回。
然后將這個返回函數(shù)的函數(shù)注冊給cursor的rowfactory即可：
cursor.rowfactory = self.makedict(cursor)
這樣，我們使用cursor.fetchall/fetchone的時候，取出來的就成為一個字典對象，很方便將其序列化為json格式返回。
另一個技巧是關于將查詢到的結果中，字符串類型的字段轉換為unicode，數(shù)值類型的不做處理：
def outtypehandler(self, cursor, name, dtype, size, p, s):
if dtype in (oracle.STRING, oracle.FIXED_CHAR):
return cursor.var(unicode, size, cursor.arraysize)
將connection對象的outputtypehandler注冊為此函數(shù)即可：
connection = oracle.connect(self.constr) connection.outputtypehandler = self.outtypehandler
通用查詢的這個小工具還在開發(fā)中，等完成了再整理一下。
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。
- zabbix agent2 監(jiān)控oracle數(shù)據(jù)庫的方法
- ORACLE數(shù)據(jù)庫對long類型字段進行模糊匹配的解決思路
- 配置python連接oracle讀取excel數(shù)據(jù)寫入數(shù)據(jù)庫的操作流程
- SpringBoot多數(shù)據(jù)庫連接(mysql+oracle)的實現(xiàn)
- 使用zabbix監(jiān)控oracle數(shù)據(jù)庫的方法詳解
- Oracle數(shù)據(jù)庫下載與安裝的完整步驟
- QT連接Oracle數(shù)據(jù)庫并實現(xiàn)登錄驗證的操作步驟
- oracle取數(shù)據(jù)庫中最新的一條數(shù)據(jù)可能會遇到的bug(兩種情況)
- 使用IDEA對Oracle數(shù)據(jù)庫進行簡單增刪改查操作
- Oracle數(shù)據(jù)庫scott用戶創(chuàng)建view視圖權限的操作方法
- ORACLE數(shù)據(jù)庫應用開發(fā)的三十個注意事項
相關文章
這篇文章主要介紹了Python人工智能中使用sg2im把文字轉成圖像的方法，sg2im是一個由Google開發(fā)的開源項目，它專注于將場景圖形轉換為圖像，借助sg2im就可以把文字轉換成圖像，需要的朋友可以參考下2021-11-11
python實現(xiàn)得到一個給定類的虛函數(shù)
這篇文章主要介紹了python實現(xiàn)得到一個給定類的虛函數(shù)的方法,以wx的PyPanel類為例講述了打印以base_開頭的方法的實例,需要的朋友可以參考下2014-09-09
多重共線性是指多元回歸模型中有兩個或兩個以上的自變量,它們之間具有高度的相關性,本文主要介紹了如何使用VIF實現(xiàn)檢測多重共線性,需要的可以參考下2023-12-12
這篇文章主要介紹了用python寫的聊天程序，開兩個線程，即是客戶端，也是服務器，大家可以參考使用2013-11-11
本文介紹了Python中用于解析HTML頁面的重要工具之一——BeautifulSoup庫，詳細講解了BeautifulSoup庫的基本使用方法、標簽選擇器、CSS選擇器、正則表達式、遍歷文檔樹等內(nèi)容，并結合實例代碼展示了BeautifulSoup庫的應用場景2023-04-04
這篇文章主要介紹了Python使用正則表達式過濾或替換HTML標簽的方法,簡單介紹了Python正則相關語法并結合具體實例形式分析了Python基于正則表達式的HTML標簽過濾與替換相關操作技巧,需要的朋友可以參考下2017-09-09
requests模塊是python基于urllib，采用Apache2 Licensed開源協(xié)議的 HTTP庫,它比 urllib 更加方便，可以節(jié)約我們大量的工作，完全滿足 HTTP測試需求,需要的朋友可以參考下2023-05-05
如何使用pytorch實現(xiàn)LocallyConnected1D
由于LocallyConnected1D是Keras中的函數(shù),為了用pytorch實現(xiàn)LocallyConnected1D并在960×33的數(shù)據(jù)集上進行訓練和驗證,本文分步驟給大家介紹如何使用pytorch實現(xiàn)LocallyConnected1D,感興趣的朋友一起看看吧2023-09-09
UEditor是由百度web前端研發(fā)部開發(fā)所見即所得富文本web編輯器，具有輕量，可定制，注重用戶體驗等特點，開源基于MIT協(xié)議，允許自由使用和修改代碼。2014-07-07
如何安裝并使用conda指令管理python環(huán)境
這篇文章主要介紹了如何使用conda指令管理python環(huán)境,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-07-07