Оптимизация доступа к базе данных¶

Понять QuerySet оценка¶

Чтобы избежать проблем с производительностью, важно понимать:

• что QuerySets are lazy.
• когда they are evaluated.
• как the data is held in memory.

Понимание атрибутов кэширования¶

Помимо кэширования всего QuerySet, существует кэширование результатов работы атрибутов на объектах ORM. В общем случае кэшируются атрибуты, которые не являются вызываемыми. Например, если предположить, что атрибут example blog models:

>>> entry = Entry.objects.get(id=1)
>>> entry.blog  # Blog object is retrieved at this point
>>> entry.blog  # cached version, no DB access

Но в общем случае вызываемые атрибуты каждый раз приводят к обращению к БД:

>>> entry = Entry.objects.get(id=1)
>>> entry.authors.all()  # query performed
>>> entry.authors.all()  # query performed again

Будьте внимательны при чтении шаблонного кода - система шаблонов не позволяет использовать круглые скобки, но будет вызывать callables автоматически, скрывая указанное выше различие.

Будьте осторожны с вашими собственными пользовательскими свойствами - вы сами должны реализовать кэширование, когда это необходимо, например, используя декоратор cached_property.

Используйте тег шаблона with¶

Чтобы использовать поведение кэширования QuerySet, вам может понадобиться использовать тег шаблона with.

Используйте iterator()¶

Когда у вас много объектов, поведение кэширования QuerySet может привести к использованию большого количества памяти. В этом случае может помочь iterator().

Используйте explain()¶

QuerySet.explain() дает вам подробную информацию о том, как база данных выполняет запрос, включая используемые индексы и соединения. Эти сведения могут помочь вам найти запросы, которые можно переписать более эффективно, или определить индексы, которые можно добавить для повышения производительности.

Используйте RawSQL¶

Менее переносимым, но более мощным методом является выражение RawSQL, которое позволяет явно добавить в запрос некоторый SQL. Если этого все еще недостаточно:

Используйте необработанный SQL¶

Напишите свой собственный custom SQL to retrieve data or populate models. Используйте django.db.connection.queries, чтобы узнать, что Django пишет за вас, и начните с этого.

Используйте QuerySet.select_related() и prefetch_related()¶

Тщательно изучите select_related() и prefetch_related() и используйте их:

• в managers and default managers, где это необходимо. Будьте в курсе, когда ваш менеджер используется, а когда нет; иногда это бывает непросто, поэтому не делайте предположений.
• в коде представления или других слоях, возможно, используя prefetch_related_objects() там, где это необходимо.

Используйте QuerySet.values() и values_list()¶

Когда вам нужно только dict или list значений, и вам не нужны объекты модели ORM, используйте values(). Они могут быть полезны для замены объектов модели в коде шаблона - до тех пор, пока поставляемые вами dicts имеют те же атрибуты, что и используемые в шаблоне, все в порядке.

Используйте QuerySet.defer() и only()¶

Используйте defer() и only(), если есть столбцы базы данных, которые, как вы знаете, вам не понадобятся (или не понадобятся в большинстве случаев), чтобы избежать их загрузки. Обратите внимание, что если вы делаете их использование, ORM придется получить их в отдельном запросе, что делает это пессимизацией, если вы используете его не по назначению.

Не будьте слишком агрессивны в откладывании полей без профилирования, поскольку базе данных приходится считывать с диска большую часть нетекстовых, не``VARCHAR`` данных для одной строки в результатах, даже если в итоге используется только несколько столбцов. Методы defer() и only() наиболее полезны, когда можно избежать загрузки большого количества текстовых данных или для полей, которые могут потребовать много обработки для преобразования обратно в Python. Как всегда, сначала профиль, затем оптимизация.

Используйте QuerySet.contains(obj)¶

…если вы хотите узнать, есть ли в наборе запросов obj, а не if obj in queryset.

Используйте QuerySet.count()¶

…если вам нужен только счетчик, а не выполнение len(queryset).

Используйте QuerySet.exists()¶

…если вы хотите узнать, существует ли хотя бы один результат, а не if queryset.

Но:

Не злоупотребляйте contains(), count() и exists().¶

Если вам понадобятся другие данные из QuerySet, оцените их немедленно.

Например, если взять модель Group, которая имеет отношение «многие-ко-многим» к User, то оптимальным будет следующий код:

members = group.members.all()

if display_group_members:
    if members:
        if current_user in members:
            print("You and", len(members) - 1, "other users are members of this group.")
        else:
            print("There are", len(members), "members in this group.")

        for member in members:
            print(member.username)
    else:
        print("There are no members in this group.")

Это оптимальный вариант:

1. Поскольку QuerySets являются ленивыми, это не делает запросов к базе данных, если display_group_members равно False.
2. Хранение group.members.all() в переменной members позволяет повторно использовать ее кэш результатов.
3. Строка if members: вызывает вызов QuerySet.__bool__(), который приводит к выполнению запроса group.members.all() к базе данных. Если результатов нет, то возвращается False, иначе True.
4. Строка if current_user in members: проверяет, находится ли пользователь в кэше результатов, поэтому дополнительные запросы к базе данных не выполняются.
5. Использование len(members) вызывает QuerySet.__len__(), повторно используя кэш результатов, поэтому опять же, никаких запросов к базе данных не выполняется.
6. Цикл for member выполняет итерацию по кэшу результатов.

В целом, этот код выполняет либо один, либо ноль запросов к базе данных. Единственная преднамеренная оптимизация, которая была проведена, это использование переменной members. Использование QuerySet.exists() для if, QuerySet.contains() для in или QuerySet.count() для count привело бы к дополнительным запросам.

Используйте QuerySet.update() и delete()¶

Вместо того чтобы извлекать груз объектов, устанавливать некоторые значения и сохранять их по отдельности, используйте массовый оператор SQL UPDATE, используя QuerySet.update(). Аналогично, по возможности используйте bulk deletes.

Обратите внимание, однако, что эти методы массового обновления не могут вызывать методы save() или delete() отдельных экземпляров, что означает, что любое пользовательское поведение, добавленное вами для этих методов, не будет выполнено, включая все, что управляется из обычного объекта базы данных signals.

Используйте значения внешних ключей напрямую¶

Если вам нужно только значение внешнего ключа, используйте значение внешнего ключа, которое уже есть у имеющегося объекта, вместо того чтобы получать весь связанный объект и брать его первичный ключ. т.е. сделайте:

entry.blog_id

вместо:

entry.blog.id

Не заказывайте результаты, если вас это не волнует¶

Упорядочивание не является бесплатным; каждое поле, по которому нужно упорядочить, является операцией, которую должна выполнить база данных. Если модель имеет упорядочение по умолчанию (Meta.ordering) и оно вам не нужно, удалите его на QuerySet, вызвав order_by() без параметров.

Добавление индекса в вашу базу данных может помочь улучшить производительность упорядочивания.

Создание в массовом порядке¶

При создании объектов, где это возможно, используйте метод bulk_create() для уменьшения количества SQL-запросов. Например:

Entry.objects.bulk_create(
    [
        Entry(headline="This is a test"),
        Entry(headline="This is only a test"),
    ]
)

…предпочтительнее, чем:

Entry.objects.create(headline="This is a test")
Entry.objects.create(headline="This is only a test")

Обратите внимание, что существует ряд caveats to this method, поэтому убедитесь, что он подходит для вашего случая использования.

Обновление в массовом порядке¶

При обновлении объектов, где это возможно, используйте метод bulk_update() для уменьшения количества SQL-запросов. Дается список или набор объектов:

entries = Entry.objects.bulk_create(
    [
        Entry(headline="This is a test"),
        Entry(headline="This is only a test"),
    ]
)

Следующий пример:

entries[0].headline = "This is not a test"
entries[1].headline = "This is no longer a test"
Entry.objects.bulk_update(entries, ["headline"])

…предпочтительнее, чем:

entries[0].headline = "This is not a test"
entries[0].save()
entries[1].headline = "This is no longer a test"
entries[1].save()

Обратите внимание, что существует ряд caveats to this method, поэтому убедитесь, что он подходит для вашего случая использования.

Вставка оптом¶

При вставке объектов в ManyToManyFields используйте add() с несколькими объектами, чтобы уменьшить количество SQL-запросов. Например:

my_band.members.add(me, my_friend)

…предпочтительнее, чем:

my_band.members.add(me)
my_band.members.add(my_friend)

…где Bands и Artists имеют отношение «многие ко многим».

При вставке различных пар объектов в ManyToManyField или при определении пользовательской таблицы through используйте метод bulk_create() для уменьшения количества SQL-запросов. Например:

PizzaToppingRelationship = Pizza.toppings.through
PizzaToppingRelationship.objects.bulk_create(
    [
        PizzaToppingRelationship(pizza=my_pizza, topping=pepperoni),
        PizzaToppingRelationship(pizza=your_pizza, topping=pepperoni),
        PizzaToppingRelationship(pizza=your_pizza, topping=mushroom),
    ],
    ignore_conflicts=True,
)

…предпочтительнее, чем:

my_pizza.toppings.add(pepperoni)
your_pizza.toppings.add(pepperoni, mushroom)

…где Pizza и Topping имеют отношение «многие ко многим». Обратите внимание, что существует множество caveats to this method, поэтому убедитесь, что оно подходит для вашего случая использования.

Удалить оптом¶

При удалении объектов из ManyToManyFields используйте remove() с несколькими объектами, чтобы уменьшить количество SQL-запросов. Например:

my_band.members.remove(me, my_friend)

…предпочтительнее, чем:

my_band.members.remove(me)
my_band.members.remove(my_friend)

…где Bands и Artists имеют отношение «многие ко многим».

При удалении различных пар объектов из ManyToManyFields используйте delete() на выражении Q с несколькими экземплярами модели through, чтобы уменьшить количество SQL-запросов. Например:

from django.db.models import Q

PizzaToppingRelationship = Pizza.toppings.through
PizzaToppingRelationship.objects.filter(
    Q(pizza=my_pizza, topping=pepperoni)
    | Q(pizza=your_pizza, topping=pepperoni)
    | Q(pizza=your_pizza, topping=mushroom)
).delete()

…предпочтительнее, чем:

my_pizza.toppings.remove(pepperoni)
your_pizza.toppings.remove(pepperoni, mushroom)

…где Pizza и Topping имеют отношение «многие ко многим».