qidao123.com技术社区-IT企服评测·应用市场

标题: N+1查询：数据库性能的隐形杀手与终极拯救指南 [打印本页]
作者: 科技颠覆者    时间: 2025-5-5 23:42
标题: N+1查询：数据库性能的隐形杀手与终极拯救指南
title: N+1查询：数据库性能的隐形杀手与终极拯救指南
date: 2025/05/06 00:16:30
updated: 2025/05/06 00:16:30
author: cmdragon
excerpt:
N+1查询题目是ORM中常见的性能陷阱，表现为在查询主对象时，对每个关联对象举行单独查询，导致查询次数过多。以博客系统为例，查询10位作者及其文章会产生11次查询。通过Tortoise-ORM的prefetch_related方法，可以将查询优化为2次，显著提升性能。优化后的实现方案包括利用SQL JOIN语句加载关联数据，并联合FastAPI举行实践。进阶优化本领包括多层预加载、选择性字段加载和分页查询联合。常见报错涉及模型注册、连接关闭和字段匹配题目，需针对性解决。
categories:
tags:
扫描二维码
关注大概微信搜一搜：编程智域 前端至全栈交流与成长
探索数千个预构建的 AI 应用，开启你的下一个伟大创意：https://tools.cmdragon.cn/
第一章：明白N+1查询题目本质

1.1 什么是N+1查询题目？

N+1查询是ORM利用过程中常见的性能陷阱。假设我们有一个博客系统，当查询作者列表时，如果每个作者关联了多篇文章，常规查询会先获取N个作者（1次查询），然后为每个作者单独执行文章查询（N次查询），统共产生N+1次数据库查询。
示例场景：
1.2 题目复现与性能影响

利用Tortoise-ORM创建数据模型：
  1. # models.py
  2. from tortoise.models import Model
  3. from tortoise import fields
  6. class Author(Model):
  7.     id = fields.IntField(pk=True)
  8.     name = fields.CharField(max_length=50)
  11. class Article(Model):
  12.     id = fields.IntField(pk=True)
  13.     title = fields.CharField(max_length=100)
  14.     content = fields.TextField()
  15.     author = fields.ForeignKeyField('models.Author', related_name='articles')
复制代码
题目查询代码示例：
  1. async def get_authors_with_articles():
  2.     authors = await Author.all()
  3.     result = []
  4.     for author in authors:
  5.         articles = await author.articles.all()
  6.         result.append({
  7.             "author": author.name,
  8.             "articles": [a.title for a in articles]
  9.         })
  10.     return result
复制代码
利用EXPLAIN ANALYZE分析查询筹划：
  1. -- 主查询
  2. EXPLAIN
  3. ANALYZE
  4. SELECT "id", "name"
  5. FROM "author";
  7. -- 单个作者的文章查询
  8. EXPLAIN
  9. ANALYZE
  10. SELECT "id", "title", "content"
  11. FROM "article"
  12. WHERE "author_id" = 1;
复制代码
第二章：prefetch_related异步预加载实战

2.1 预加载机制原理

Tortoise-ORM的prefetch_related利用SQL JOIN语句在单个查询中加载关联数据。对于1:N关系，它通过以下步骤实现：
2.2 优化后的实现方案

完整FastAPI示例：
  1. # main.py
  2. from fastapi import FastAPI
  3. from tortoise.contrib.fastapi import register_tortoise
  4. from pydantic import BaseModel
  6. app = FastAPI()
  9. # Pydantic模型
  10. class ArticleOut(BaseModel):
  11.     title: str
  14. class AuthorOut(BaseModel):
  15.     id: int
  16.     name: str
  17.     articles: list[ArticleOut]
  19.     class Config:
  20.         orm_mode = True
  23. # 数据库配置
  24. DB_CONFIG = {
  25.     "connections": {"default": "postgres://user:pass@localhost/blogdb"},
  26.     "apps": {
  27.         "models": {
  28.             "models": ["models"],
  29.             "default_connection": "default",
  30.         }
  31.     }
  32. }
  35. # 路由端点
  36. @app.get("/authors", response_model=list[AuthorOut])
  37. async def get_authors():
  38.     authors = await Author.all().prefetch_related("articles")
  39.     return [
  40.         AuthorOut.from_orm(author)
  41.         for author in authors
  42.     ]
  45. # 初始化ORM
  46. register_tortoise(
  47.     app,
  48.     config=DB_CONFIG,
  49.     generate_schemas=True,
  50.     add_exception_handlers=True,
  51. )
复制代码
2.3 执行筹划对比分析

优化后的SQL查询示例：
  1. EXPLAIN
  2. ANALYZE
  3. SELECT a.id,
  4.        a.name,
  5.        ar.id,
  6.        ar.title,
  7.        ar.content
  8. FROM author a
  9.          LEFT JOIN article ar ON a.id = ar.author_id;
复制代码
性能对比指标：
指标优化前 (N=10)优化后查询次数112平均相应时间 (ms)32045网络往返次数112内存占用 (KB)850650第三章：进阶优化与最佳实践

3.1 多层预加载本领

处置惩罚多级关联关系：
  1. await Author.all().prefetch_related(
  2.     "articles__comments",  # 文章关联的评论
  3.     "profile"  # 作者个人资料
  4. )
复制代码
3.2 选择性字段加载

优化查询字段选择：
  1. await Author.all().prefetch_related(
  2.     articles=Article.all().only("title", "created_at")
  3. )
复制代码
3.3 分页与预加载联合

分页查询优化方案：
  1. from tortoise.functions import Count
  4. async def get_paginated_authors(page: int, size: int):
  5.     return await Author.all().prefetch_related("articles")
  6.         .offset((page - 1) * size).limit(size)
  7.         .annotate(articles_count=Count('articles'))
复制代码
课后Quiz

常见报错解决方案

报错1：TortoiseORMError: Relation does not exist
报错2：OperationalError: connection closed
报错3：ValidationError: field required (type=value_error.missing)
环境配置与运行

安装依靠：
  1. pip install fastapi uvicorn tortoise-orm[asyncpg] pydantic
复制代码
启动服务：
  1. uvicorn main:app --reload --port 8000
复制代码
测试端点：
  1. curl http://localhost:8000/authors
复制代码
余下文章内容请点击跳转至 个人博客页面 大概 扫码关注大概微信搜一搜：编程智域 前端至全栈交流与成长，阅读完整的文章：N+1查询：数据库性能的隐形杀手与终极拯救指南 | cmdragon's Blog
往期文章归档：


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 qidao123.com技术社区-IT企服评测·应用市场 (https://dis.qidao123.com/) Powered by Discuz! X3.4