【Python利用】嘿马头条项目从到完整开辟教程第3篇：数据库,1 新增【附代码 ...

本教程的知识点为:简介 1. 内容 2. 目标 产品效果 ToutiaoWeb假造机利用说明 数据库 明确ORM 作用 思索： 利用ORM的方式选择 数据库 SQLAlchemy操作 1 新增 2 查询 all() 数据库 分布式ID 1 方案选择 2 头条 利用雪花算法 （代码 toutiao-backend/common/utils/snowflake) 数据库 Redis 1 Redis事务 根本事务指令 Python客户端操作 Git工用流 调试方法 JWT认证方案 JWT & JWS & JWE Json Web Token(JWT) OSS对象存储 存储 需求 方案 利用 缓存 缓存架构 多级缓存 头条项目的方案 缓存数据 缓存 缓存题目 1 缓存 2 缓存 头条项目缓存与存储设计 APScheduler定时任务 定时修正统计数据 RPC RPC简介 1. 什么是RPC RPC 编写客户端 头条首页消息保举接口编写 即时通讯 即时通讯简介 即时通讯 Socket.IO 1 简介 长处： 缺点： Elasticsearch 简介与原理 1 简介 属于面向文档的数据库 2 搜索的原理——倒排索引（反向索引）、分析、相关性排序 Elasticsearch 文档 索引文档（保存文档数据） 获取指定文档 判断文档是否存在 单元测试 为什么要测试 测试的分类 什么是单元测试 断言方法的利用：

仓库里完整资料代码：

博客文章1： https://blog.csdn.net/m0_72919230/article/details/141267280

博客文章2： https://blog.csdn.net/m0_72919230/article/details/141296972

感兴趣的小伙伴可以自取哦~

---

全套教程部分目次：

---

部分文件图片：

数据库

• 数据库设计
  
• SQLAlchemy
  
• 数据库理论
  
• 分布式ID
  
• Redis
  

SQLAlchemy操作

1 新增

1. user = User(mobile='15612345678', name='itcast')
2. db.session.add(user)
3. db.session.commit()
4. profile = Profile(id=user.id)
5. db.session.add(profile)
6. db.session.commit()

复制代码

对于批量添加也可利用如下语法

1. db.session.add_all([user1, user2, user3])
2. db.session.commit()

复制代码

2 查询

all()

查询所有，返回列表

1. User.query.all()

复制代码

first()

查询第一个，返回对象

1. User.query.first()

复制代码

get()

根据主键ID获取对象，若主键不存在返回None

1. User.query.get(2)

复制代码

另一种查询方式

1. db.session.query(User).all()
2. db.session.query(User).first()
3. db.session.query(User).get(2)

复制代码

filter_by

举行过虑

1. User.query.filter_by(mobile='13911111111').first()
2. User.query.filter_by(mobile='13911111111', id=1).first()  # and关系

复制代码

filter

举行过虑

1. User.query.filter(User.mobile=='13911111111').first()

复制代码

逻辑或

1. from sqlalchemy import or_
2. User.query.filter(or_(User.mobile=='13911111111', User.name.endswith('号'))).all()

复制代码

逻辑与

1. from sqlalchemy import and_
2. User.query.filter(and_(User.name != '13911111111', User.mobile.startswith('185'))).all()

复制代码

逻辑非

1. from sqlalchemy import not_
2. User.query.filter(not_(User.mobile == '13911111111')).all()

复制代码

offset

偏移，起始位置

1. User.query.offset(2).all()

复制代码

limit

获取限定数据

1. User.query.limit(3).all()

复制代码

order_by

排序

1. User.query.order_by(User.id).all()  # 正序
2. User.query.order_by(User.id.desc()).all()  # 倒序

复制代码

复合查询

1. User.query.filter(User.name.startswith('13')).order_by(User.id.desc()).offset(2).limit(5).all()

复制代码

1. query = User.query.filter(User.name.startswith('13'))
2. query = query.order_by(User.id.desc())
3. query = query.offset(2).limit(5)
4. ret = query.all()

复制代码

优化查询

1. user = User.query.filter_by(id=1).first()  # 查询所有字段
2. select user_id, mobile......
4. select * from   # 程序不要使用
5. select user_id, mobile,.... # 查询指定字段
7. from sqlalchemy.orm import load_only
8. User.query.options(load_only(User.name, User.mobile)).filter_by(id=1).first() # 查询特定字段

复制代码

聚合查询

1. from sqlalchemy import func
3. db.session.query(Relation.user_id, func.count(Relation.target_user_id)).filter(Relation.relation == Relation.RELATION.FOLLOW).group_by(Relation.user_id).all()

复制代码

关联查询

1. 利用ForeignKey

1. class User(db.Model):
2.     ...
3.     profile = db.relationship('UserProfile', uselist=False)
4.     followings = db.relationship('Relation')
6. class UserProfile(db.Model):
7.     id = db.Column('user_id', db.Integer, db.ForeignKey('user_basic.user_id'), primary_key=True,  doc='用户ID')
8.     ...
10. class Relation(db.Model):
11.     user_id = db.Column(db.Integer, db.ForeignKey('user_basic.user_id'), doc='用户ID')
12.     ...
16. # 测试   
19. user = User.query.get(1)
20. user.profile.gender
21. user.followings

复制代码

2. 利用primaryjoin

1. class User(db.Model):
2.     ...
4.     profile = db.relationship('UserProfile', primaryjoin='User.id==foreign(UserProfile.id)', uselist=False)
5.     followings = db.relationship('Relation', primaryjoin='User.id==foreign(Relation.user_id)')
9. # 测试
12. user = User.query.get(1)
13. user.profile.gender
14. user.followings

复制代码

3. 指定字段关联查询

1. class Relation(db.Model):
2.     ...
3.     target_user = db.relationship('User', primaryjoin='Relation.target_user_id==foreign(User.id)', uselist=False)
5. from sqlalchemy.orm import load_only, contains_eager
7. Relation.query.join(Relation.target_user).options(load_only(Relation.target_user_id), contains_eager(Relation.target_user).load_only(User.name)).all()

复制代码

3 更新

• 方式一
  

1. user = User.query.get(1)
2.   user.name = 'Python'
3.   db.session.add(user)
4.   db.session.commit()

复制代码

• 方式二
  

1. User.query.filter_by(id=1).update({'name':'python'})
2.   db.session.commit()

复制代码

4 删除

• 方式一
  

1. user = User.query.order_by(User.id.desc()).first()
2.   db.session.delete(user)
3.   db.session.commit()

复制代码

• 方式二
  

1. User.query.filter(User.mobile='18512345678').delete()
2.   db.session.commit()

复制代码

5 事务

1. environ = {'wsgi.version':(1,0), 'wsgi.input': '', 'REQUEST_METHOD': 'GET', 'PATH_INFO': '/', 'SERVER_NAME': 'itcast server', 'wsgi.url_scheme': 'http', 'SERVER_PORT': '80'}
3. with app.request_context(environ):
4.     try:
5.         user = User(mobile='18911111111', name='itheima')
6.         db.session.add(user)
7.         db.session.flush() # 将db.session记录的sql传到数据库中执行
8.         profile = UserProfile(id=user.id)
9.         db.session.add(profile)
10.         db.session.commit()
11.     except:
12.         db.session.rollback()

复制代码

数据库

• 数据库设计
  
• SQLAlchemy
  
• 数据库理论
  
• 分布式ID
  
• Redis
  

数据库理论

1. 复制集与分布式

• 复制集（Replication）
  
• 数据库中数据相同，起到备份作用
  
• 高可用 High Available HA
  
• 分布式（Distribution）
  
• 数据库中数据不同，共同构成完整的数据集合
  
• 通常每个节点被称为一个分片（shard)
  
• 高吞吐 High Throughput
  
• 复制集与分布式可以单独利用，也可以组合利用（即每个分片都组建一个复制集）
  
• 关于主（Master）从（Slave）
  
• 这个概念是从利用的角度来阐述题目的
  
• 主节点 -> 表现程序在这个节点上最先更新数据
  
• 从节点 -> 表现这个节点的数据是要通过复制主节点而来
  
• 复制集 可选 主从、主主、主主从从
  
• 分布式 每个分片都是主，组合利用复制集的时候，复制集的是从
  

2. MySQL

1） 主从复制

复制分成三步：

• master将改变记录到二进制日记(binary log)中（这些记录叫做二进制日记事件，binary log events）；
  
• slave将master的binary log events拷贝到它的中继日记(relay log)；
  
• slave重做中继日记中的事件，将改变反映它自己的数据。
  

下图形貌了这一过程：

该过程的第一部分就是master记录二进制日记。在每个事务更新数据完成之前，master在二日记记录这些改变。MySQL将事务串行的写入二进制日记，纵然事务中的语句都是交叉执行的。在事件写入二进制日记完成后，master通知存储引擎提交事务。
下一步就是slave将master的binary log拷贝到它自己的中继日记。首先，slave开始一个工作线程——I/O线程。I/O线程在master上打开一个平凡的毗连，然后开始binlog dump process。Binlog dump process从master的二进制日记中读取事件，如果已经跟上master，它会睡眠并等待master产生新的事件。I/O线程将这些事件写入中继日记。
SQL slave thread处理该过程的最后一步。SQL线程从中继日记读取事件，更新slave的数据，使其与master中的数据一致。只要该线程与I/O线程保持一致，中继日记通常会位于OS的缓存中，所以中继日记的开销很小。
别的，在master中也有一个工作线程：和其它MySQL的毗连一样，slave在master中打开一个毗连也会使得master开始一个线程。
利用主从在到达高可用的同时，也可以通过读写分离提供吞吐量。
思索：读写分离对事务是否有影响？

   对于写操作包括开启事务和提交或回滚要在一台机器上执行，分散到多台master执行后数据库原生的单机事务就失效了。
  对于事务中同时包含读写操作，与事务隔离级别设置有关，如果事务隔离级别为read-uncommitted 或者 read-committed，读写分离没影响，如果隔离级别为repeatable-read、serializable，读写分离就有影响，由于在slave上会看到新数据，而正在事务中的master看不到新数据。
2）分库分表（sharding）

分库分表前的题目

任何题目都是太大或者太小的题目，我们这内里对的数据量太大的题目。

• 用户请求量太大
  

由于单服务器TPS，内存，IO都是有限的。 解决方法：分散请求到多个服务器上； 其实用户请求和执行一个sql查询是本质是一样的，都是请求一个资源，只是用户请求还会经过网关，路由，http服务器等。

• 单库太大
  

单个数据库处理本领有限；单库地点服务器上磁盘空间不足；单库上操作的IO瓶颈 解决方法：切分成更多更小的库

• 单表太大
  

CRUD都成题目；索引膨胀，查询超时 解决方法：切分成多个数据集更小的表。
分库分表的方式方法

一样平常就是垂直切分和水平切分，这是一种结果集形貌的切分方式，是物理空间上的切分。 我们从面对的题目，开始解决，阐述： 首先是用户请求量太大，我们就堆机器搞定（这不是本文重点）。
然后是单个库太大，这时我们要看是由于表多而导致数据多，照旧由于单张表内里的数据多。 如果是由于表多而数据多，利用垂直切分，根据业务切分成不同的库。
如果是由于单张表的数据量太大，这时要用水平切分，即把表的数据按某种规则切分成多张表，乃至多个库上的多张表。 分库分表的顺序应该是先垂直分，后水中分。 由于垂直分更简单，更符合我们处理现实世界题目的方式。
垂直拆分

• 垂直分表
  

也就是“大表拆小表”，基于列字段举行的。一样平常是表中的字段较多，将不常用的， 数据较大，长度较长（好比text类型字段）的拆分到“扩展表“。 一样平常是针对那种几百列的大表，也避免查询时，数据量太大造成的“跨页”题目。

• 垂直分库
  

垂直分库针对的是一个系统中的不同业务举行拆分，好比用户User一个库，商品Producet一个库，订单Order一个库。 切分后，要放在多个服务器上，而不是一个服务器上。为什么？ 我们想象一下，一个购物网站对外提供服务，会有效户，商品，订单等的CRUD。没拆分之前， 全部都是落到单一的库上的，这会让数据库的单库处理本领成为瓶颈。按垂直分库后，如果照旧放在一个数据库服务器上， 随着用户量增大，这会让单个数据库的处理本领成为瓶颈，还有单个服务器的磁盘空间，内存，tps等非常吃紧。 所以我们要拆分到多个服务器上，这样上面的题目都解决了，以后也不会面对单机资源题目。
数据库业务层面的拆分，和服务的“治理”，“降级”机制类似，也能对不同业务的数据分别的举行管理，维护，监控，扩展等。 数据库往往最容易成为应用系统的瓶颈，而数据库本身属于“有状态”的，相对于Web和应用服务器来讲，是比力难实现“横向扩展”的。 数据库的毗连资源比力名贵且单机处理本领也有限，在高并发场景下，垂直分库一定程度上能够突破IO、毗连数及单机硬件资源的瓶颈。
水平拆分

• 水中分表
  

针对数据量巨大的单张表（好比订单表），按照某种规则（RANGE,HASH取模等），切分到多张表内里去。 但是这些表照旧在同一个库中，所以库级别的数据库操作照旧有IO瓶颈。不建议接纳。

• 水中分库分表
  

将单张表的数据切分到多个服务器上去，每个服务器具有相应的库与表，只是表中数据集合不同。 水中分库分表能够有效的缓解单机和单库的性能瓶颈和压力，突破IO、毗连数、硬件资源等的瓶颈。

• 水中分库分表切分规则
  
• 
  
  • RANGE
    
  
  

从0到10000一个表，10001到20000一个表；

• HASH取模 离散化
  

一个商场系统，一样平常都是将用户，订单作为主表，然后将和它们相关的作为附表，这样不会造成跨库事务之类的题目。 取用户id，然后hash取模，分配到不同的数据库上。

• 地理区域
  

好比按照华东，华南，华北这样来区分业务，应该就是如此。

• 时间
  

按照时间切分，就是将6个月前，乃至一年前的数据切出去放到另外的一张表，由于随着时间流逝，这些表的数据 被查询的概率变小，所以没须要和“热数据”放在一起，这个也是“冷热数据分离”。
分库分表反面对的题目

• 事务支持
  

分库分表后，就成了分布式事务了。如果依赖数据库本身的分布式事务管理功能去执行事务，将付出高昂的性能代价； 如果由应用程序去帮忙控制，形成程序逻辑上的事务，又会造成编程方面的负担。

• 多库结果集合并（group by，order by）
  
• 跨库join
  

分库分表后表之间的关联操作将受到限定，我们无法join位于不同分库的表，也无法join分表粒度不同的表， 结果原本一次查询能够完成的业务，大概需要多次查询才能完成。 大略的解决方法： 全局表：基础数据，所有库都拷贝一份。 字段冗余：这样有些字段就不用join去查询了。 系统层组装：分别查询出所有，然后组装起来，较复杂。
分库分表方案产品

目前市面上的分库分表中央件相对较多，其中基于方式的有MySQL Proxy和Amoeba， 基于Hibernate框架的是Hibernate Shards，基于jdbc的有当当sharding-jdbc， 基于mybatis的类似maven插件式的有蘑菇街的蘑菇街TSharding， 通过重写spring的ibatis template类的Cobar Client。
还有一些大公司的开源产品：

3 头条项目应用

• 主从
  
• 垂直分表
  

1. CREATE TABLE `user_basic` (
2.   `user_id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '用户ID',
3.   `account` varchar(20) COMMENT '账号',
4.   `email` varchar(20) COMMENT '邮箱',
5.   `status` tinyint(1) NOT NULL DEFAULT '1' COMMENT '状态，是否可用，0-不可用，1-可用',
6.   `mobile` char(11) NOT NULL COMMENT '手机号',
7.   `password` varchar(93) NULL COMMENT '密码',
8.   `user_name` varchar(32) NOT NULL COMMENT '昵称',
9.   `profile_photo` varchar(128) NULL COMMENT '头像',
10.   `last_login` datetime NULL COMMENT '最后登录时间',
11.   `is_media` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否是自媒体，0-不是，1-是',
12.   `is_verified` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否实名认证，0-不是，1-是',
13.   `introduction` varchar(50) NULL COMMENT '简介',
14.   `certificate` varchar(30) NULL COMMENT '认证',
15.   `article_count` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '发文章数',
16.   `following_count` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '关注的人数',
17.   `fans_count` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '被关注的人数',
18.   `like_count` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '累计点赞人数',
19.   `read_count` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '累计阅读人数',
20.   PRIMARY KEY (`user_id`),
21.   UNIQUE KEY `mobile` (`mobile`),
22.   UNIQUE KEY `user_name` (`user_name`)
23. ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户基本信息表';
25. CREATE TABLE `user_profile` (
26.   `user_id` bigint(20) unsigned NOT NULL COMMENT '用户ID',
27.   `gender` tinyint(1) NOT NULL DEFAULT '0' COMMENT '性别，0-男，1-女',
28.   `birthday` date NULL COMMENT '生日',
29.   `real_name` varchar(32) NULL COMMENT '真实姓名',
30.   `id_number` varchar(20) NULL COMMENT '身份证号',
31.   `id_card_front` varchar(128) NULL COMMENT '身份证正面',
32.   `id_card_back` varchar(128) NULL COMMENT '身份证背面',
33.   `id_card_handheld` varchar(128) NULL COMMENT '手持身份证',
34.   `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
35.   `update_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
36.   `register_media_time` datetime NULL COMMENT '注册自媒体时间',
37.   `area` varchar(20) COMMENT '地区',
38.   `company` varchar(20) COMMENT '公司',
39.   `career` varchar(20) COMMENT '职业',
40.   PRIMARY KEY (`user_id`)
41. ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户资料表';

复制代码

1. CREATE TABLE `news_article_basic` (
2.   `article_id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '文章ID',
3.   `user_id` bigint(20) unsigned NOT NULL COMMENT '用户ID',
4.   `channel_id` int(11) unsigned NOT NULL COMMENT '频道ID',
5.   `title` varchar(128) NOT NULL COMMENT '标题',
6.   `cover` json NOT NULL COMMENT '封面',
7.   `is_advertising` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否投放广告，0-不投放，1-投放',
8.   `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
9.   `update_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
10.   `status` tinyint(1) NOT NULL DEFAULT '0' COMMENT '贴文状态，0-草稿，1-待审核，2-审核通过，3-审核失败，4-已删除',
11.   `reviewer_id` int(11) NULL COMMENT '审核人员ID',
12.   `review_time` datetime NULL COMMENT '审核时间',
13.   `delete_time` datetime NULL COMMENT '删除时间',
14.   `reject_reason` varchar(200) COMMENT '驳回原因',
15.   `comment_count` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '累计评论数',
16.   `allow_comment` tinyint(1) NOT NULL DEFAULT '1' COMMENT '是否允许评论，0-不允许，1-允许',
17.   PRIMARY KEY (`article_id`),
18.   KEY `user_id` (`user_id`),
19.   KEY `article_status` (`status`)
20. ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='文章基本信息表';
22. CREATE TABLE `news_article_content` (
23.   `article_id` bigint(20) unsigned NOT NULL COMMENT '文章ID',
24.   `content` longtext NOT NULL COMMENT '文章内容',
25.   PRIMARY KEY (`article_id`)
26. ) ENGINE=MyISAM DEFAULT CHARSET=utf8 COMMENT='文章内容表';

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。