### Django 数据库性能优化：百万级记录速度降低解决方案 #### 数据库查询性能下降的原因 当数据库记录数超过一百万时，查询性能可能会显著下降。主要原因包括全表扫描、索引失效、查询语句复杂度高以及未充分利用缓存机制等问题[^1]。 #### 优化方法 #### 缓存机制 Django 提供了缓存框架，能够有效减少对数据库的直接访问次数。通过将频繁查询的数据缓存到内存中，可以显著提升查询效率。例如，使用 `django.core.cache` 模块可以配置多种缓存后端（如 Memcached 或 Redis）来存储查询结果。 ```python from django.core.cache import cache def get_user_by_id(user_id): user = cache.get(f"user_{user_id}") if not user: user = User.objects.get(id=user_id) cache.set(f"user_{user_id}", user, timeout=300) # 缓存5分钟 return user ``` #### 索引优化 合理创建索引是提高查询性能的关键之一。对于经常用于过滤条件或排序的字段，应创建适当的索引。在 Django 中，可以通过模型的 `Meta` 类定义索引。 ```python class Book(models.Model): title = models.CharField(max_length=100) author = models.CharField(max_length=100) class Meta: indexes = [ models.Index(fields=['title']), models.Index(fields=['author']), ] ``` 需要注意的是，过多的索引会增加写操作的成本，因此需要根据实际查询需求进行权衡[^3]。 #### 延迟加载与查询集优化 Django 的查询集采用延迟加载机制，只有在真正需要数据时才会执行数据库查询。这有助于避免不必要的查询，但开发者仍需注意避免 N+1 查询问题。可以通过 `select_related` 和 `prefetch_related` 方法优化关联查询。 ```python # 使用 select_related 避免多次查询 books_with_authors = Book.objects.select_related('author').all() # 使用 prefetch_related 预取关联数据 authors_with_books = Author.objects.prefetch_related('book_set').all() ``` #### 批量操作 批量插入或更新数据可以显著减少数据库交互次数，从而提高性能。Django 提供了 `bulk_create` 和事务管理工具来支持批量操作[^4]。 ```python from django.db import transaction with transaction.atomic(): order = Order.objects.create(user=user, total_amount=total) items_to_create = [ OrderItem(order=order, product=item.product, quantity=item.quantity) for item in items ] OrderItem.objects.bulk_create(items_to_create) ``` #### 数据库分页与限制结果集 在处理大量数据时，分页查询可以有效减少单次查询返回的数据量。使用 `LIMIT` 和 `OFFSET` 或 Django 的分页器类可以实现高效分页。 ```python from django.core.paginator import Paginator paginator = Paginator(Book.objects.all(), per_page=100) # 每页100条记录 page_1 = paginator.get_page(1) ``` #### 数据库服务器优化 除了应用层优化外，数据库服务器本身的配置也会影响性能。例如，调整缓冲区大小、启用慢查询日志以及定期分析和优化查询计划等措施均能带来性能提升[^2]。 ```sql -- 启用 MySQL 慢查询日志 SET GLOBAL slow_query_log = 'ON'; SET GLOBAL long_query_time = 2; -- 记录执行时间超过2秒的查询 ``` ---