Управление памятью в PHP. Сборка мусора, слабые ссылки и прочая челядь22.07.2023 21:01

a1: (refcount=3, is_ref=0)=class stdClass {  }
Array
(
    [runs] => 0
    [collected] => 0
    [threshold] => 10001
    [roots] => 0
)
a1: (refcount=2, is_ref=0)=class stdClass {  }
Array
(
    [runs] => 0
    [collected] => 0
    [threshold] => 10001
    [roots] => 1
)

Видим, что на refcount переменной $a равен 3, а в статистика по сборщику показывает следующее:

1. [runs] => 0, сборщик запускался 0 раз

2. [collected] => 0, было собрано 0 переменных

3. [threshold] => 10001, размер буфера (а не 10000 тысяч, как я говорил выше)

4. [roots] => 0, кол-во элементов в буфере

Затем мы делаем unset($a3) уменьшаая refcount на единицу с 3 до 2 и zval-контейнер, как потенциально проблемный отправляется в root buffer ([roots] => 1). Очевидно, что никаких циклических ссылок тут нет: абсолютно плоская структура, просто теперь вместо трёх переменных на zval ссылаются две.

Что же касается структуры, созданной нами ранее, то теперь с учётом знания о root-буфере мы можем изобразить её так:

Как бы там ни было, мусор возникает при декременте счётчика ссылок.

Алгоритм работы сборщика мусора

Это опциональная глава. Я честно сам не до конца понял подробностей работы алгоритма. Главное, что он работает и мы убедимся в этом в следующей главе. А как именно — да Бог с ним. Я и вам предлагаю не заморачиваться на этих деталях. Но если вдруг, то смотрите статью и, например, вот этот пост: «Ломаем сбор мусора и десериализацию в PHP».

Алгоритм использует цветовую раскраску и выполняется в 2 этапа (и несколько шагов):

1. Накопление мусора: шаги 1 и 2 из списка ниже.

2. Очистка мусора: шаги 3 — 7 из списка ниже.

По шагам:

1. Изначально, все свежесозданные zval-контейнеры имеют дефолтный чёрный цвет. Естественно, чтобы больше всех запутать на всех моих графиках zval’ы белые.

2. Когда refcount zval’а уменьшается и не достигает 0, он окрашивается пурпурным и отправляется в root buffer.

3. После того, как root buffer набьётся кандидатами на удаление, сборщик пробегается по всем элементам буфера осуществляя поиск в глубину и уменьшает refcount у всех zval’ов на 1. Так же он помечает их серым цветом, чтобы не уменьшить у одного и того же zval’а refcount несколько раз.

4. Затем забег по всем элементам буфера методом поиска в глубину повторяется снова и все zval’ы c refcount равным нулю помечаются белым. А у zval’ов с refcount больше нуля, значение счётчика восстанавливается в исходное состояние и они помечаются снова чёрным.

5. Последним шагом сборщик снова проходится по буферу удаляя из него zval’ы. Zval’ы помеченные белым удаляются вообще с высвобождением занимаемой памяти.

Смотрим глазами

Всё, время слов прошло, переходим к делу. Ниже код, аналогичный тому, что мы видели выше, с циклическими зависимостями. Запускаем его в цикле for и на каждой итерации замеряем время и кол-во потребляемой памяти.

value = range(1, 100);

    $person2 = new \stdClass();
    $person2->value = range(1, 100);

    $person1->partner = $person2;
    $person2->partner = $person1;

    echo microtime(true) - $time, ';', memory_get_usage() / 1024 / 1024, PHP_EOL;
}

Рисуем полученные данные:

Классическая картина работы сборщика. Давайте разбираться, что тут видно.

• На каждой итерации создаётся два объекта и они отправляются в root-буфер. 10001 / 2 = 5000.5. А кол-во итераций в цикле 50000. Вот мы и видим 10 взлётов и 9 падений. Если бы я поставил 50005 итераций, то увидели бы ещё один сброс памяти.

• Скрипт отработал примерно за 1 секунду.

• За 5000 итераций PHP накапливает чуть меньше 30 мегабайт мусора. Очистка происходит практически мгновенно.

Хорошо, давайте попробуем аккумулировать больше памяти и посмотрим, что будет. Заменим range(1, 100) на range(1, 4000) и установим memory_limit в 1 гигабайт. Если не увеличить memory_limit, то раньше чем запуститься сборщик мусора PHP свалится с ошибкой: PHP Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 69632 bytes) in...

value = range(1, 4000);

    $person2 = new \stdClass();
    $person2->value = range(1, 4000);

    $person1->partner = $person2;
    $person2->partner = $person1;

    echo microtime(true) - $time, ';', memory_get_usage() / 1024 / 1024, PHP_EOL;
}

График поменялся:

Теперь, чтобы высвободить примерно 700 мегабайт памяти PHP тратит примерно 0.2 секунды. Тенденция ясна. На высвобождение нужно время. Но не только. Нужны ещё ресурсы процессора. Я запустил этот скрипт ещё раз и параллельно запустил Docker Desktop. Картинка стала такой:

• Первое, что бросается в глаза — это кривизна графика. Да, при наличии рядом тяжеловесного процесса нуждающегося в CPU всё выглядит не так радужно. Память выдают уже с задержками (это ступеньки). Но и высвобождается она теперь местами за 0.6 секунд, а не за 0.2.

• Общее время работы скрипта увеличилось с 6 до 10 секунд.

• Видно, как первые секунды я вспоминал, что я хотел запустить (а, docker!), а потом как его запустить)

Слабые ссылки

Ожидать когда буфер сборщика забьется мусором слишком беспечная политика [бездействия]. Начиная с версии 7.4.0 у PHP появился механизм слабых ссылок, которые позволяют разруливать проблемы с циклическими ссылками самостоятельно, не дожидаясь когда PHP остановит ваш скрипт и начнёт прибирать за вами. Давайте перейдём к коду и модифицируем пример выше:

value = range(1, 4000);

    $person2 = new \stdClass();
    $person2->value = range(1, 4000);

    $person1->partner = \WeakReference::create($person2);
    $person2->partner = \WeakReference::create($person1);

    echo microtime(true) - $time, ';', memory_get_usage() / 1024 / 1024, PHP_EOL;
}

Неплохо, да? И по памяти, и по времени. Полмегабайта против 700 и полторы секунды против 6. Как это работает? Очень просто. Слабая ссылка не увеличивает refcount zval’а. Т. о. на каждой итерации при переопределении $person1 и $person2 их refcount’ы равные 1 сбрасываются до нуля и память высвобождается тут же: в root buffer ничего не попадает, 0 циклов сборки мусора.

Слабые ссылки не являются особенностью PHP. Подобные конструкции в различных ипостасях есть и в других подобных языках программирования:

Бонус-трэк: WeakMap

WeakMap — это новая фича доступная с версии 8.0. Работает похожим на WeakReference образом. В документации к классу почему-то настойчиво предлагается использовать его для кэширования. Но в первую очередь нужно понимать, что WeakMap — это карта и предназначена она для связывания ключа и значения, как в обычном ассоциативном массиве. Только вместо ключа используется объект. Refcount объекта при добавлении его в карту не увеличивается, также как и при использовании WeakReference. Т.е. при удалении объекта, весь тот багаж, который вы связали с объектом удалиться так же. Смотрите пример в официальной документации. Вот ещё один:

name = $name;
    $this->value = range(1, 1000);
  }

  public function __destruct() {
      echo __METHOD__, ': ', $this->name, PHP_EOL;
  }
}

$map = new WeakMap();
$baseMemory = memory_get_usage();

$person = new Person('Сергей Иванович Петров');

$map[$person] = [
  'father'   => new Person('Иван Лаврентьевич Петров'),
  'mother'   => new Person('Мария Васильевна Суркова'),
  'wife'     => new Person('Ирина Витальевана...'),
  'son'      => new Person('Санька'),
  'daughter' => new Person('Манька'),
];

echo memory_get_usage() - $baseMemory, PHP_EOL;
unset($person);
echo memory_get_usage() - $baseMemory, PHP_EOL;

124712
Person::__destruct: Сергей Иванович Петров
Person::__destruct: Иван Лаврентьевич Петров
Person::__destruct: Мария Васильевна Суркова
Person::__destruct: Ирина Витальевана...
Person::__destruct: Санька
Person::__destruct: Манька
672

Всё семейство при потере единственного кормильца погибает.

Заключение

Следите за памятью, следите за собой. Хватит греть планету :)

P.S. Если вдруг вы захотите сгенерить такие же графики работы сборщика мусора, то вам сюда.

echo microtime(true) - $time, ';', memory_get_usage() / 1024 / 1024, PHP_EOL;

$ php gc.php > gc.csv
$ head -n 3 gc.csv
3.6954879760742E-5;0.38493347167969
0.00029397010803223;0.39071655273438
0.00033807754516602;0.39649963378906
...

if (! ("ggplot2" %in% rownames(installed.packages()))) {
  install.packages("ggplot2", repos = "https://mirror.truenetwork.ru/CRAN/")
}

library("ggplot2")

args = commandArgs(trailingOnly = T)

inCsv  = args[1]
outImg = sub(pattern = "(.*)\\..*$", "\\1.png", inCsv)

x = read.csv2(inCsv, F, dec=".")
colnames(x) = c("time", "memory")

plot = ggplot(x, aes(x = time, y = memory)) +
  geom_line(linewidth = 2, color = "#CC6666") +
  scale_x_continuous(labels = scales::number_format(accuracy = 0.01, big.mark = "")) +
  scale_y_continuous(labels = scales::number_format(big.mark = ""), limits = c(0, NA)) +
  ggtitle("PHP memory consumption") +
  xlab("Time, microseconds") +
  ylab("Memory, megabytes")

ggsave(outImg, plot, device = 'png', width = 12, height = 8, units = 'in')

$ Rscript chart.R gc.csv
$ ls gc.png
gc.png

© Habrahabr.ru