Как Python управляет памятью — подсчёт ссылок и сборщик мусора?
- Когда в Python освобождается объект?
- Зачем модуль gc, если есть подсчёт ссылок?
В CPython основной механизм — подсчёт ссылок: у каждого объекта счётчик, и когда он падает до нуля, объект освобождается сразу. Циклические ссылки (a ссылается на b, b на a) счётчик не обнулят — их находит циклический сборщик модуля gc, работающий по поколениям.
- sys.getrefcount показывает счётчик (на 1 больше — сам аргумент)
- Поколения 0, 1, 2: молодые проверяются чаще
- __del__ вызывается непредсказуемо при циклах — ресурсы закрывают через with
А ещё PyPy и другие реализации используют трассирующие сборщики без подсчёта ссылок
Подробно
Подсчёт ссылок. Присваивание, добавление в список, передача в функцию увеличивают счётчик; выход из области видимости, del, удаление из контейнера — уменьшают. Ноль — память возвращается немедленно, и вызывается __del__. Поэтому в CPython файл, открытый без with, обычно закрывается сразу после потери последней ссылки — но полагаться на это нельзя.
Проблема циклов:
a = []; b = [a]; a.append(b)
del a, b # счётчики по 1 — объекты недостижимы, но живыЦиклический сборщик просматривает контейнеры (списки, словари, объекты классов), вычитает ссылки внутри группы и находит те, на которые никто извне не ссылается. Работает по поколениям: новые объекты — в поколении 0; переживший проверку переходит в следующее. Сборка запускается по порогам числа выделений (gc.get_threshold()).
Практика:
gc.collect()— принудительно;gc.disable()иногда используют в высоконагруженных сервисах (Instagram отключал и замораживал —gc.freeze()— чтобы copy-on-write после fork не копировал страницы);- утечки ищут через
tracemallocиobjgraph; - циклы с участием объектов, держащих ресурсы, разрывают через
weakref.
Что хотят услышать
- Подсчёт ссылок как основной механизм.
- Почему нужен циклический сборщик.
- Поколения.
- Инструменты поиска утечек.
Частые ошибки
- «В Python есть только сборщик мусора, как в Java».
- Освобождать ресурсы в __del__.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Циклические ссылки освобождаются подсчётом ссылок сразу, а gc лишь дефрагментирует память
- ✓Подсчёт ссылок освобождает память сразу; циклы находит сборщик gc по поколениям
- ✗Python освобождает память только по расписанию сборщика мусора
- ✗__del__ вызывается строго в предсказуемый момент
Что спросят дальше
Разбор темы
- Память и производительность CPython
Подсчёт ссылок и сборщик циклов, слабые ссылки, интернирование чисел и строк, копирование, сложность операций, профилирование и способы ускорения.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.