快捷導(dǎo)航

Python使用RethinkDB總結(jié)

更新時(shí)間：2014年03月16日 15:18:04 作者：

最近一個(gè)項(xiàng)目要用到文檔數(shù)據(jù)庫(kù)，順便關(guān)注了一下 NoSQL 方面的消息。當(dāng)前幾個(gè)比較流行的文檔數(shù)據(jù)庫(kù)引擎有 MongoDB, CouchDB, OrientDB 等，朋友推薦的是 MongoDB 和 RethinkDB

和 MongoDB 類似 RethinkDB 是一個(gè)主要用來(lái)存儲(chǔ) JSON 文檔的數(shù)據(jù)庫(kù)引擎（MongoDB 存儲(chǔ)的是 BSON），可以輕松和多個(gè)節(jié)點(diǎn)連成分布式數(shù)據(jù)庫(kù)，非常好用的查詢語(yǔ)言以及支持表的 joins 和 group by 操作等。
昨天試玩了一下 RethinkDB，在一臺(tái)虛擬機(jī)上測(cè)試，插入2500萬(wàn)行記錄性能比較穩(wěn)定，維持在 1.5K 行到 2K 行每秒之間，RethinkDB 的數(shù)據(jù)分片（sharding）功能非常簡(jiǎn)單，一個(gè)點(diǎn)擊就可以完成。下面的安裝和測(cè)試在 Ubuntu 12.04.4 LTS Server 版本上完成。
加入 RethinkDB 官方源后安裝：

復(fù)制代碼代碼如下:

$ sudo apt-get install python-software-properties
$ sudo add-apt-repository ppa:rethinkdb/ppa
$ sudo apt-get update
$ sudo apt-get install rethinkdb

拷貝一個(gè)例子配置文件后修改 bind 部分以便可以從其他機(jī)器訪問(wèn)：

復(fù)制代碼代碼如下:

$ cd /etc/rethinkdb/
$ sudo cp default.conf.sample instances.d/default.conf

$ sudo vi instances.d/default.conf
...
# bind=127.0.0.1
bind=0.0.0.0
...

啟動(dòng) rethinkdb：

復(fù)制代碼代碼如下:

$ sudo /etc/init.d/rethinkdb start
rethinkdb: default: Starting instance. (logging to `/var/lib/rethinkdb/default/data/log_file')

訪問(wèn) http://192.168.2.39:8080/ 就可以看到 rethinkdb 的管理界面了：

如果不喜歡在命令行工作，web 界面還提供了 Data Explorer 在線查詢工具，支持語(yǔ)法高亮、在線函數(shù)提示等，不用額外查幫助文件。

要用程序的方式和 rethinkdb 打交道的話就需要安裝客戶端驅(qū)動(dòng)（client drivers），官方支持的驅(qū)動(dòng)有 JavaScript, Ruby 和 Python 3種語(yǔ)言，社區(qū)支持的驅(qū)動(dòng)幾乎包括了 C, Go, C++, Java, PHP, Perl, Clojure, Erlang 等所有主流編程語(yǔ)言。本人用 Python 多一些，所以這里安裝 Python 客戶端驅(qū)動(dòng)：

復(fù)制代碼代碼如下:

$ sudo apt-get install python-pip
$ sudo pip install rethinkdb

測(cè)試一下驅(qū)動(dòng)是否能工作了，如果 import rethinkdb 沒(méi)有出錯(cuò)基本就可以說(shuō)明模塊安裝成功：

復(fù)制代碼代碼如下:

$ python
Python 2.7.3 (default, Feb 27 2014, 19:58:35)
[GCC 4.6.3] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import rethinkdb
>>>

gene2go.txt 是一個(gè)含有基因數(shù)據(jù)的文本文件，大概1000多萬(wàn)行記錄，格式如下：

復(fù)制代碼代碼如下:

$ head -2 gene2go.txt
#Format: tax_id GeneID GO_ID Evidence Qualifier GO_term PubMed Category (tab is used as a separator, pound sign - start of a comment)
3702 814629 GO:0005634 ISM - nucleus - Component

寫(xiě)個(gè)簡(jiǎn)單程序把 gene2go.txt 的數(shù)據(jù)導(dǎo)入到 rethinkdb 里：

復(fù)制代碼代碼如下:

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import os, os.path, sys, re, csv, string

def csv2db():
data = csv.reader(open('gene2go.txt', 'rb'), delimiter='\t')
data.next()

    import rethinkdb as r
    r.connect('localhost', 28015).repl()
    r.db('test').table_create('gene2go').run()
    gene2go = r.db('test').table('gene2go')
    for row in data:
        gene2go.insert({
            'tax_id': row[0],
            'GeneID': row[1],
            'GO_ID': row[2],
            'Evidence': row[3],
            'Qualifier': row[4],
            'GO_term': row[5],
            'PubMed': row[6],
            'Category': row[7]
        }).run(durability="soft", noreply=True)

def main():
csv2db()

if __name__ == "__main__":
main()