python records库源码分析

一.介绍

import records

db = records.Database('postgres://...')
rows = db.query('select * from active_users')    # or db.query_file('sqls/active-users.sql')

>>> rows[0]
<Record {"username": "model-t", "active": true, "name": "Henry Ford", "user_email": "model-t@gmail.com"}>

for r in rows:
    print(r.name, r.user_email)

二.源码分析

records平时使用较多,而且实现逻辑很清晰,作为第一份python库源码阅读很合适

  • 1.依赖库
1)psycopg2==2.6.1

'''
psycopg2是python操作PostgreSQL数据库的库,但是在records的代码里并没有看到哪里有使用,sqlalchemy毕竟已经支持了postgresql,
    而psycopg2是官方指定推荐的python driver
'''
2)py==1.4.31

'''
library with cross-python path, ini-parsing, io, code, log facilities
'''
3)pytest==2.8.7

'''
python单元测试

'''
4)tablib==0.11.1

'''
tablib:用于导出xls、csv、yaml等格式,records中的主要功能之二:导出sql查询的结果
参考链接:http://www.open-open.com/lib/view/open1410700050414.html
官方文档:https://pypi.python.org/pypi/tablib

'''
5)sqlalchemy==1.0.11

'''
用于数据库操作,python中最有名的ORM框架,records的主要功能:基于sqlalchemy进行封装
sqlalchemy: Python中,最有名的ORM框架是SQLAlchemy
参考文章:1
参考文章:http://www.jb51.net/article/49789.htm
参考文章:http://blog.csdn.net/mmx/article/details/48064109

import text: sqlalchemy推荐使用text()函数封装一下sql字符串
create_engine:建立数据库连接引擎
import declarative_base: 使用sqlalchemy.ext.declarative 来生成表, 所有的表都必须有主键.
'''
 '''
6)docopt==0.6.2

'''
docopt根据你写的文档描述,自动为你生成解析器,可以非常容易的为你的python程序创建命令行界面,用于很多库的命令行指引。

'''
  • 2.源码分析工具

pycharm3.x (运行调试)+ Source Insight 4.0(展示类/变量/方法结构图)

Source insight</strong>是一款很不错的阅读源码的工具,支持很多语言,有些人说好像3版本默认不支持python,需要配置,我下载的 Source Insight 4.0,没这个问题,打开就可以用。
  • 3.代码目录结构

Database类:

封装基本数据库操作,主要使用query方法,调用SQLAlchemy的方法,获取结果后调用Record类获得Record生成器,再调用RecordCollection获得所有的结果,

* 调用sqlalchemy中的declarative_base获取table的所有表名

metadata = declarative_base().metadata
metadata.reflect(create_engine(self.db_url))
return metadata.tables.keys()

*  实现query_file和transaction,可以使用本地sql文件,支持事务。

*  _enter__和__exit__配合,实现with数据库上下文管理器

Record类:

接收database查询后的keys和rows,初始化时,检测是否长度一致,然后对其包装,使其支持迭代,支持直接to_dict转为dict对象,支持直接export导出。

除了基本的[0]索引形式,Record方法使其支持字符串查询,属性查询,支持get属性查询

1)支持以字符串的形式索引查找
if key in self.keys():
   i = self.keys().index(key)
   return self.values()[i]

2)支持以属性的形式查询
try:
     return self[key]
except KeyError as e:
     raise AttributeError(e)

3)支持get查询:
try:
    return self[key]
except KeyError:
    return default

4)通过tablib库,实现dataset属性:转为各种格式输出(json/txt/csv)
def dataset(self):
        data = tablib.Dataset()
        data.headers = self.keys()
        row = _reduce_datetimes(self.values())
        data.append(row)
        return data

RecordCollection类:

部分方法和Record类相同,但RecordCollection实现了first方法,获取第一个row,如果不存在,则默认default为none,如果defalut本身就是实例或者exception的子类,直接抛出异常,另外,实现了一次实例化后多次查询时的缓存。

i == 0
while True:
    # Other code may have iterated between yields,
    # so always check the cache.
    if i < len(self):
        yield self[i]
    else:
        # Throws StopIteration when done.
        yield next(self)
    i += 1

全局变量和方法:

1)_reduce_datetimes方法,在tablib转为json等格式输出时,转化row中的时间字段。
row = list(row)
for i in range(len(row)):
     if hasattr(row[i], 'isoformat'):
          row[i] = row[i].isoformat()
return tuple(row)

2)cli主方法,通过docopt获取命令行输入的参数,做合法检测等
arguments = docopt(cli_docs)
# Create the Database.
db = Database(arguments['--url'])
query = arguments['<query>']
params = arguments['<params>']

基础概念:

1)获取系统环境变量,records中,初始化时传入数据库url,如果没传,才去找系统变量中的url

self.db_url = db_url or DATABASE_URL
DATABASE_URL = os.environ.get('DATABASE_URL')
'''
os.environ    获取系统环境变量
参考文档:http://blog.csdn.net/junweifan/article/details/7615591
'''

2)限制class的属性
__slots__ = ('_keys', '_values')

3)变量和方法名汇总
"""
        变量:
        1.  前带_的变量:  标明是一个私有变量, 只用于标明, 外部类还是可以访问到这个变量
        2.  前带两个_ ,后带两个_ 的变量:  标明是内置变量,
        3.  大写加下划线的变量:  标明是 不会发生改变的全局变量
        函数:
        1. 前带_的变量: 标明是一个私有函数, 只用于标明,
        2.  前带两个_ ,后带两个_ 的函数:  标明是特殊函数

        参考文章:
        http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001386820042500060e2921830a4adf94fb31bcea8d6f5c000
        http://blog.163.com/zhulp0372@yeah/blog/static/11589447920132541933516/
        http://blog.csdn.net/debugm/article/details/8179482

        """

4)repr和str的区别
http://www.cnpythoner.com/post/251.html

5)_ _getitem__和__setitem__为特殊方法,做重新定义
用于实现某些get的属性的校验需求,参考示例:http://www.jb51.net/article/87447.htm
此处用于判断:key是int型还是string型,不同的get逻辑
print(row[1])
print(row["name"])

6)重载 __getattr__ 和 __setattr__
来拦截对成员的访问,需要注意的是 __getattr__ 只有在访问不存在的成员时才会被调用
参考示例:http://www.360doc.com/content/14/0322/02/9482_362601063.shtml
print(row.name) //获取属性,仍然调用__getitem__

7)OrderedDict
"""  OrderedDict提供了一个有序的字典结构,记录了每个键值对添加的顺序,
如果初始化的时候同时传入多个参数,它们的顺序是随机的,不会按照位置顺序存储。"""
return OrderedDict(items) if ordered else dict(items)

8)@property装饰器
负责把dataset方法变成属性调用

9)__next__和__iter__
构造迭代器

测试demo:

# -*- coding: utf-8 -*-
# import records
from source_code.records import records
from sqlalchemy import *

def demo():
    a = 1
    if a == 1:
        raise IOError("SSS")

def demo1():
    db = records.Database('mysql://root:root@localhost:3306/ceshi')
    rows = db.query("select * from cece")
    row = rows[0]
    print(row.keys)
    print(row.values)
    print(row[1])
    print(row["name"])
    print("---")
    print(row.as_dict())


def demo2():
    mysql_engine = create_engine('mysql://root:root@localhost:3306/ceshi')
    connection = mysql_engine.connect()
    result = connection.execute("select * from cece")
    print(result.keys())

if __name__ == '__main__':
    demo1()
    demo2()

Written by

说点什么

欢迎讨论

avatar

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据

  Subscribe  
提醒