N+1查询：数据库性能的隐形杀手与终极拯救指南

科技颠覆者  论坛元老 | 2025-5-5 23:42:49 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 2077|帖子 2077|积分 6231

title: N+1查询：数据库性能的隐形杀手与终极拯救指南
date: 2025/05/06 00:16:30
updated: 2025/05/06 00:16:30
author: cmdragon
excerpt:
N+1查询题目是ORM中常见的性能陷阱，表现为在查询主对象时，对每个关联对象举行单独查询，导致查询次数过多。以博客系统为例，查询10位作者及其文章会产生11次查询。通过Tortoise-ORM的prefetch_related方法，可以将查询优化为2次，显著提升性能。优化后的实现方案包括利用SQL JOIN语句加载关联数据，并联合FastAPI举行实践。进阶优化本领包括多层预加载、选择性字段加载和分页查询联合。常见报错涉及模型注册、连接关闭和字段匹配题目，需针对性解决。
categories:

  • 后端开发
  • FastAPI
tags:

  • N+1查询题目
  • Tortoise-ORM
  • 异步预加载
  • FastAPI
  • 数据库优化
  • SQL查询
  • 性能分析
扫描二维码
关注大概微信搜一搜：编程智域 前端至全栈交流与成长
探索数千个预构建的 AI 应用，开启你的下一个伟大创意：https://tools.cmdragon.cn/
第一章：明白N+1查询题目本质

1.1 什么是N+1查询题目？

N+1查询是ORM利用过程中常见的性能陷阱。假设我们有一个博客系统，当查询作者列表时，如果每个作者关联了多篇文章，常规查询会先获取N个作者（1次查询），然后为每个作者单独执行文章查询（N次查询），统共产生N+1次数据库查询。
示例场景：

  • 数据库包含10位作者
  • 每位作者有5篇文章
  • 常规查询会产生1（作者）+10（文章）=11次查询
1.2 题目复现与性能影响

利用Tortoise-ORM创建数据模型：
  1. # models.py
  2. from tortoise.models import Model
  3. from tortoise import fields
  6. class Author(Model):
  7.     id = fields.IntField(pk=True)
  8.     name = fields.CharField(max_length=50)
  11. class Article(Model):
  12.     id = fields.IntField(pk=True)
  13.     title = fields.CharField(max_length=100)
  14.     content = fields.TextField()
  15.     author = fields.ForeignKeyField('models.Author', related_name='articles')
复制代码
题目查询代码示例：
  1. async def get_authors_with_articles():
  2.     authors = await Author.all()
  3.     result = []
  4.     for author in authors:
  5.         articles = await author.articles.all()
  6.         result.append({
  7.             "author": author.name,
  8.             "articles": [a.title for a in articles]
  9.         })
  10.     return result
复制代码
利用EXPLAIN ANALYZE分析查询筹划：
  1. -- 主查询
  2. EXPLAIN
  3. ANALYZE
  4. SELECT "id", "name"
  5. FROM "author";
  7. -- 单个作者的文章查询
  8. EXPLAIN
  9. ANALYZE
  10. SELECT "id", "title", "content"
  11. FROM "article"
  12. WHERE "author_id" = 1;
复制代码
第二章：prefetch_related异步预加载实战

2.1 预加载机制原理

Tortoise-ORM的prefetch_related利用SQL JOIN语句在单个查询中加载关联数据。对于1:N关系，它通过以下步骤实现：

  • 执行主查询获取所有作者
  • 收集作者ID列表
  • 执行关联查询获取所有相关文章
  • 在内存中举行数据关联映射
2.2 优化后的实现方案

完整FastAPI示例：
  1. # main.py
  2. from fastapi import FastAPI
  3. from tortoise.contrib.fastapi import register_tortoise
  4. from pydantic import BaseModel
  6. app = FastAPI()
  9. # Pydantic模型
  10. class ArticleOut(BaseModel):
  11.     title: str
  14. class AuthorOut(BaseModel):
  15.     id: int
  16.     name: str
  17.     articles: list[ArticleOut]
  19.     class Config:
  20.         orm_mode = True
  23. # 数据库配置
  24. DB_CONFIG = {
  25.     "connections": {"default": "postgres://user:pass@localhost/blogdb"},
  26.     "apps": {
  27.         "models": {
  28.             "models": ["models"],
  29.             "default_connection": "default",
  30.         }
  31.     }
  32. }
  35. # 路由端点
  36. @app.get("/authors", response_model=list[AuthorOut])
  37. async def get_authors():
  38.     authors = await Author.all().prefetch_related("articles")
  39.     return [
  40.         AuthorOut.from_orm(author)
  41.         for author in authors
  42.     ]
  45. # 初始化ORM
  46. register_tortoise(
  47.     app,
  48.     config=DB_CONFIG,
  49.     generate_schemas=True,
  50.     add_exception_handlers=True,
  51. )
复制代码
2.3 执行筹划对比分析

优化后的SQL查询示例：
  1. EXPLAIN
  2. ANALYZE
  3. SELECT a.id,
  4.        a.name,
  5.        ar.id,
  6.        ar.title,
  7.        ar.content
  8. FROM author a
  9.          LEFT JOIN article ar ON a.id = ar.author_id;
复制代码
性能对比指标：
指标优化前 (N=10)优化后查询次数112平均相应时间 (ms)32045网络往返次数112内存占用 (KB)850650第三章：进阶优化与最佳实践

3.1 多层预加载本领

处置惩罚多级关联关系：
  1. await Author.all().prefetch_related(
  2.     "articles__comments",  # 文章关联的评论
  3.     "profile"  # 作者个人资料
  4. )
复制代码
3.2 选择性字段加载

优化查询字段选择：
  1. await Author.all().prefetch_related(
  2.     articles=Article.all().only("title", "created_at")
  3. )
复制代码
3.3 分页与预加载联合

分页查询优化方案：
  1. from tortoise.functions import Count
  4. async def get_paginated_authors(page: int, size: int):
  5.     return await Author.all().prefetch_related("articles")
  6.         .offset((page - 1) * size).limit(size)
  7.         .annotate(articles_count=Count('articles'))
复制代码
课后Quiz


  • 当处置惩罚M:N关系时，应该利用哪个预加载方法？
    A) select_related
    B) prefetch_related
    C) both
    D) none
    答案：B
    M:N关系需要利用prefetch_related，因为select_related仅实用于ForeignKey和OneToOne关系
  • 以下哪种情况最适合利用prefetch_related？
    A) 查询单个对象及其关联的10条记录
    B) 列表页需要显示主对象及其关联的统计数量
    C) 需要实时更新的高频写入操作
    D) 需要关联5层以上的深度查询
    答案：B
    当需要批量处置惩罚关联数据时，prefetch_related能显著减少查询次数
常见报错解决方案

报错1：TortoiseORMError: Relation does not exist

  • 原因：模型未正确注册或字段名拼写错误
  • 解决：

    • 检查register_tortoise的models配置
    • 验证关联字段的related_name拼写
    • 执行数据库迁移命令

报错2：OperationalError: connection closed

  • 原因：异步连接未正确关闭
  • 解决：
    1. # 在请求处理完成后手动关闭连接
    2. @app.middleware("http")
    3. async def close_connection(request, call_next):
    4.     response = await call_next(request)
    5.     await connections.close_all()
    6.     return response
    复制代码
报错3：ValidationError: field required (type=value_error.missing)

  • 原因：Pydantic模型与ORM模型字段不匹配
  • 解决：

    • 检查from_orm方法是否正确利用
    • 验证response_model的字段定义
    • 确保启用orm_mode配置

环境配置与运行

安装依靠：
  1. pip install fastapi uvicorn tortoise-orm[asyncpg] pydantic
复制代码
启动服务：
  1. uvicorn main:app --reload --port 8000
复制代码
测试端点：
  1. curl http://localhost:8000/authors
复制代码
余下文章内容请点击跳转至 个人博客页面 大概 扫码关注大概微信搜一搜：编程智域 前端至全栈交流与成长，阅读完整的文章：N+1查询：数据库性能的隐形杀手与终极拯救指南 | cmdragon's Blog
往期文章归档：


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

科技颠覆者

论坛元老
这个人很懒什么都没写!

楼主热帖

标签云

渠道 国产数据库 集成商 AI 运维 CIO 存储 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表