Как найти, что тормозит в Python-программе?
- Чем профилировать Python в продакшене?
Сначала измерить, потом оптимизировать. cProfile (+ snakeviz) — время по функциям локально. py-spy — сэмплирующий профилировщик, подключается к работающему процессу без перезапуска и почти без накладных расходов, строит flame graph. line_profiler — построчно. Память — tracemalloc, memray.
- timeit — для микроизмерений одного выражения
- Профиль под реалистичной нагрузкой: узкое место часто — ввод-вывод, а не CPU
- py-spy dump — стеки всех потоков зависшего процесса
А ещё Scalene разделяет время Python-кода, нативного кода и памяти
Подробно
Порядок работы:
- Воспроизвести медленный сценарий и измерить время целиком.
- Профиль:
python -m cProfile -o out.prof app.py, затемsnakeviz out.prof— какие функции занимают больше всего суммарного (cumtime) и собственного (tottime) времени. - В проде —
py-spy top --pid 1234илиpy-spy record -o flame.svg --pid 1234: сэмплирует стек снаружи процесса, код не меняется. - Найденную горячую функцию —
line_profilerпострочно.
Типичные находки: запросы к БД в цикле (N+1), лишние сериализации JSON, квадратичные алгоритмы (x in list в цикле), построение строк конкатенацией, регулярные выражения, компилируемые в цикле.
Память: tracemalloc.start() и сравнение снимков показывают, где выделяется память; memray строит flame graph по аллокациям.
cProfile сам замедляет код в разы и искажает картину для мелких функций — сэмплирующие профилировщики точнее для сравнения.
Что хотят услышать
- Измерение перед оптимизацией.
- cProfile и py-spy, в чём разница.
- Типичные причины медленного кода.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Сначала переписать на C всё, что кажется медленным
- ✗py-spy требует перезапуска процесса с особыми флагами профилирования
- ✓Сначала измерить: cProfile локально, py-spy на живом процессе, tracemalloc для памяти
- ✗timeit — лучший инструмент для профиля всего приложения
Разбор темы
- Память и производительность CPython
Подсчёт ссылок и сборщик циклов, слабые ссылки, интернирование чисел и строк, копирование, сложность операций, профилирование и способы ускорения.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.