python高阶教程-使用数据库(mysql, sqlite, sqlalchemy)

本篇内容来自原创小册子《python高阶教程》,点击查看目录

背景

不管是写爬虫,还是做普通的数据处理,使用数据库都会使代码更加复杂,但也好处多多。一个明显的优势就是我们的程序拥有了断点继续运行的功能。即使在运行中出了错误,或者主机意外关机,我们的已经处理过的数据都不会被破坏。

在python中使用数据库也非常简便,我经常接触的数据库是mysql和sqlite.

用直接方式使用mysql

  • 安装pymysql
1
pip3 install pymysql
  • 连接数据库示例
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
import pymysql
# 打开数据库连接
db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
# 使用 execute() 方法执行 SQL 查询
cursor.execute("SELECT VERSION()")
# 使用 fetchone() 方法获取单条数据.
data = cursor.fetchone()
# 获取所有记录列表
# results = cursor.fetchall()
# 确认修改
# db.commit()
# 回退
# db.rollback()
print ("Database version : %s " % data)
db.close()
  • 总结
  1. 先连接数据库,创建cursor,再执行命令,确认更改或者回退,最后关闭连接。
  2. 具体的数据库操作是通过sql语句执行的,仍然需要对mysql语句有较多的了解。

用直接方式使用sqlite

  • sqlite3是python3的内置模块,无需安装

  • 连接数据库示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
import sqlite3
conn = sqlite3.connect('test.db')
print "Opened database successfully";
c = conn.cursor()
c.execute('''CREATE TABLE COMPANY
(ID INT PRIMARY KEY NOT NULL,
NAME TEXT NOT NULL,
AGE INT NOT NULL,
ADDRESS CHAR(50),
SALARY REAL);''')
print("Table created successfully")
conn.commit()
conn.close()
  • 总结
  1. sqlite3和mysql的操作逻辑相似
  2. 依然要对sqlite3的语法有所了解

用sqlalchemy做对象映射

sqlalchemy是一个对象映射的库,自动帮我们完成从数据库数据类型到python数据类型对的映射,
从而摆脱对特定sql语言的依赖,使我们专注于业务逻辑的实现。

  • 安装sqlalchemy
1
pip3 install sqlalchemy
  • 连接数据库
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# 导入:
from sqlalchemy import Column, String, create_engine
from sqlalchemy.orm import sessionmaker
from sqlalchemy.ext.declarative import declarative_base
# 创建对象的基类:
Base = declarative_base()
# 定义User对象:
class User(Base):
# 表的名字:
__tablename__ = 'user'
# 表的结构:
id = Column(String(20), primary_key=True)
name = Column(String(20))
# 初始化数据库连接:
engine = create_engine('mysql+pymysql://root:password@localhost:3306/test')
# 创建DBSession类型:
DBSession = sessionmaker(bind=engine)
  • 添加记录
1
2
3
4
5
6
7
8
9
10
# 创建session对象:
session = DBSession()
# 创建新User对象:
new_user = User(id='5', name='Bob')
# 添加到session:
session.add(new_user)
# 提交即保存到数据库:
session.commit()
# 关闭session:
session.close()
  • 查询记录
1
2
# 创建Query查询,filter是where条件,最后调用one()返回唯一行,如果调用all()则返回所有行:
user = session.query(User).filter(User.id=='5').one()

参考:

  1. sql中文文档
  2. sqlite可视化管理工具汇总
  3. sqlite语句
  4. 自强学堂sqlalchemy
0%