[Из песочницы] Инструмент анализа скорости PHP-функций27.08.2016 23:48

Поэтому возникла идея написать собственный механизм простого тестирования скорости различных операций. Задумка показалась интересной, поэтому начало было положено!

Цели

Итак, требовалось получить инструмент, который:

• сравнивает скорость выполнения различных функций
• имеет возможность использования заранее подготовленных тестов
• выводит в читаемом виде результат
• имеет возможность создания собственных тестов и вариантов представления результатов
• может быть легко использован на других платформах

Механизм замеров

protected function getTime($time = false)
{
    return $time === false? microtime(true) : microtime(true) - $time;
}

Но там где расчет времени, там же и потребляемый объем памяти, поэтому в последствии был добавлен аналогичный метод измерения потребляемой памяти.

protected function getMemory($memory = false)
{
    return $memory === false? memory_get_usage() : memory_get_usage() - $memory;
}

Как известно, некоторые функции ведут себя по разному в зависимости от входного набора данных, поэтому в каждом тесте определен массив входных данных для функций тестирования. Для получения наиболее точных результатов, тестирование функций проводится на каждом наборе несколько раз. Помимо прочего, тестирование проводится в разной последовательности.

В ходе экспериментов, было замечено, что объем свободной памяти перед началом каждого теста разный, хоть для большинства проводимый испытаний это было незначительным, но для порядка хотелось бы иметь условия одинаковые для всех испытаний либо близкие к таковым. Поэтому хранение результатов было решено хранить в локальном хранилище SQLite, а перед началом испытаний делать один проверочный тест для заполнения переменных данными.

Для того, чтобы иметь возможность создания собственных вариантов представления результатов и собственных вариантов теста, создано 2 модели абстракции. Модель тестов (Test), содержит всю информацию о тесте, включая функции тестирования. Модель представления данных (DataViwer) содержит методы преобразования результатов тестирования в читаемый вид. Для удобного вывода представлений был задействован шаблонизатор Twig и подключена библиотека стилей bootstrap, также создан вьювер с графиком HighCharts.

В итоге общий механизм работы такой. Берутся необходимые для сравнения функции и запускаются на выполнение с разными наборами данных и в разной последовательности. При этом происходит замер времени каждого выполнения и запись результата в хранилище. За данный этап отвечает модель теста (Test). После всех замеров происходит передача результатов в представление данных (DataViwer), где происходит обработка и вывод информации.

Реализация тестирования

Класс теста

class IncPrefVsPos extends TestAbstract 
{
    public $name = 'Speedy ++i vs i++';
    public $valueTest = [100, 1000, 2000, 3000];
    public $qntTest = 5;
    public $viewers = [TestCore::VIEWER_TLIST, TestCore::VIEWER_TGROUP, TestCore::VIEWER_TAVG, TestCore::VIEWER_GBUBLE];
    public $functions = ['postIncrement' => 'testPost', 'prefIncrement' => 'testPref'];
    protected $strategy = [['testPost', 'testPref'], ['testPref', 'testPost']];

    public function testPref($size)
    {
        $testCounter = 0;
        for($i=0;$i<$size;$i++) {
            ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter;
            ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter;
            ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter;
            ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter;
        }
    }

    public function testPost($size)
    {
        $testCounter = 0;
        for($i=0;$i<$size;$i++) {
            $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++;
            $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++;
            $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++;
            $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++;
        }
    }
}

$name — задает название теста, которое может быть использовано при выводе в DataViewer.

$valueTest — объем выборки тестирования, массив значений, с каждым из которых будет выполнена функция для тестирования. Таким образом каждая тестируемая функция должна обязательно принимать один параметр. Будет он являться числом, строкой или массивом не важно, все зависит от конкретного случая. В нашем примере, достаточно чисел, которые будут обозначать объем проводимых операций с инкрементом.

$qntTest — говорит о том, какое количество раз будет протестирован каждый объем выборки.

$viewers — массив представлений данных, который будет сформирован при рендере отчета. На самом деле это набор полных имен классов наследующих абстрактный класс ViewrAbstract. Заранее подготовленные вьюверы вынесены в константы класса TestCore.

$functions — массив названий функций которые будут использоваться в тестировании. Ключами массива являются названия, которые будут отображены в результатах.

$strategy — массив стратегий тестирования, каждая стратегия должна быть представлена массивом с последовательностью имен функций. В примере указано 2 стратегии — прямой последовательности и в обратной.

Непосредственно сами функции, которые как говорилось выше, должны принимать одно значение. В нашем примере, мы считаем это за количество выполняемых операций серии инкрементирования.

В итоге получим, серию тестов где каждая стратегия тестирования будет протестирована по 5 раз с каждым объемом выборки ([100, 1000, 2000, 3000]).

Класс представления данных

class TableList extends ViewerAbstract
{
    public $view = 'tableList.php';

    public function generateData($data){
        return $data;
    }

    public function run($data)
    {
        $data = $this->generateData($data);
        return App::render('/viewer/'.$this->view, compact('data'));
    }

    public static function model($class = __CLASS__) {
        return parent::model($class);
    }
}

$view — содержит имя представления, которое поумолчанию должно лежать в папке /views/viewers

function generateData ($data)  — метод обработки массива результатов тестирования. Результат будет передан поумолчанию в параметр data в указанное представление.

function run ($data) — необязательный для реализации метод, но если необходимо изменить путь к представлению данных, то именно он должен быть переопределен.

public static function model ($class = __CLASS__) — метод поддержки статического обращения к методам

Варианты использования

Метод запуска теста

function test($test, $params = [], $onlyData = false)

$params — массив параметров для запуска теста. Данным параметром можно точечно изменить параметры тестирования.

$onlyData — параметр отвечающий за вывод набора результатов либо отрендеренное представление.

Метод сравнения функций

function compare($func = [], $params = [], $onlyData = false)

$params — массив параметров тестирования, аналогичен параметрам метода test.

$onlyData — также аналогичен параметру метода test, и отвечает за вариант вывода результатов.

Примеры работы

print Speedy::test(Speedy::PHP_SOF_VS_COUNT);

$pref =  function($size)
{
    $testCounter = 0;
    for($i=0;$i<$size;$i++) {
        ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter;
        ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter;
        ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter;
        ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter;
    }
};

$post = function($size)
{
    $testCounter = 0;
    for($i=0;$i<$size;$i++) {
        $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++;
        $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++;
        $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++;
        $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++;
    }
};
print \speedy\Speedy::compare(['pref' => $pref, 'post' => $post]);

Результаты тестирования

VIEWER_TLIST

VIEWER_TGROUP

В столбцах таблицы будут отображены данные о размере выборки, времени выполнения, проценту скорости от худшего результата, затраченной памяти, комментария и названия функции, которая стала победителем по времени среди текущего прохода. Отдельно хотелось бы пояснить столбец процента. Данное значение высчитывается как процент, на сколько по времени функция опередила выполнение самой медленной функции. Если значение не установлено, значит эта функция по времени выполнения является аутсайдером в проходе.

VIEWER_TAVG

В столбцах представлена информация по количеству побед функции в выборке, средний процент времени побед, имя функции-победителя. Функции-победитель — определяется количеством побед в выборке.

Пример вывода результатов в графическом виде

Результат тестирования операторов инкрементирования.

Итоги

Исходный код проекта можно смотреть здесь

P.S.: Данный проект разрабатывается в рамках личного интереса к данной теме и не претендует на место лучшего в своем роде. Буду рад, если кому-то понравится и будет полезен данный труд. Конструктивная критика и советы приветствуются.

Комментарии (11)

• oxidmod

  27 августа 2016 в 19:42

  +4

  ↑

  ↓

  чего не придумают, лишь бы нормальный профилировщик не использовать

• gtbear

  27 августа 2016 в 20:19

  +1

  ↑

  ↓

  думал будет рассказ про хитрости xdebug / pinba

• Diaskhan

  27 августа 2016 в 20:53

  –5

  ↑

  ↓

  Php программерам вообще слабо знакомо такое понятие как отладчик, отладчик в их понимании это Chrome)) уж простите за сарказм.
  Месяца четыре мусолил одному программеру на Php перейтй c notepad++ на phpstorm, Второму мусолил пол года, второй тока через два года перешел на phpstorm, видимо компетентность и пхп понятия не совместимые… надо бы статью написать что пользоваться plain text редакторами это зло.

  • SerafimArts

    27 августа 2016 в 22:04

    +2

    ↑

    ↓

    А как ваш опыт общения с кодерами относится к «php программерам»? Просто потому что языки совпали и вы сразу за всех решили?

  • Delphinum

    27 августа 2016 в 22:08

    +1

    ↑

    ↓

    В субботу хабра-выпилы не такие эпичные ((

    • Diaskhan

      27 августа 2016 в 22:26

      0

      ↑

      ↓

      Вы уж извините меня php программеры, просто не часто в топиках встретишь java C# и питон програмеров. Хватит меня провацировать еще на минусы))

      тут вопрос в другом, Многие программеры которые считают себя гуру программерами редко пользуются форматированием кода. Редко считают что стандарты к ним относится., а использование IDE, подразумевает использование стандартных фишек IDE, и в следствие использование gofmt по умолчанию…

      Вообще если быть серьезным то множество компаний которые использует ПХП, делают по больше части сайты для пиара (landing pages), а не какие то серьезные веб приложения со сложной бизнес логикой.

      но Php способен не только на Wordpress! А вообще php слишком молод для того чтобы по умолчанию принимали профилирование как по умолчанию. Любой платформе-технологии нужно какое то время чтобы понять что есть проблемы утечек, синхронизации потоков, утиной типизации и то что в принципе php придумывалось как Personal Home Page Tools. Этим и обусловлено недальновидность таких парадигм как потоки, утечки памяти и вещей которые не созданы чтобы умирать https://habrahabr.ru/post/179399/

      • Suvitruf

        27 августа 2016 в 23:24 (комментарий был изменён)

        +1

        ↑

        ↓

        А вообще php слишком молод

        Ага, всего лишь 20 с лишним лет.

• VitaZheltyakov

  27 августа 2016 в 21:40

  0

  ↑

  ↓

  xDebug, трассировка… достаточно лишь научится использовать и в ваших руках будет полная информация о производительности скриптов

  • SerafimArts

    27 августа 2016 в 22:05

    0

    ↑

    ↓

    xhprof, кстати, в данном случае на порядок удобнее.

• AterCattus

  27 августа 2016 в 21:45

  0

  ↑

  ↓

  Вы бы хоть какое-то достаточное число итераций делали, чтобы не получались эти замеры 0.0028, сопоставимые с погрешностями.

  В go, к примеру, встроенный бенчмарк подбирает число итераций у разных тестов, чтобы они все поработали достаточно и сопоставимое время.
  

• edogs

  27 августа 2016 в 23:24

  0

  ↑

  ↓

  memory_get_usage () — не найс, ибо показывает количество памяти после вызова функции, а не сколько функция потребляет при работе. А поскольку после окончания вызова функции память которую она занимала освобождается — не удивительно, что потребляемая память у Вас всегда одна и та же — 48.
  Если уж хотите колхозить, то для памяти колхозьте через http://php.net/memory_get_peak_usage, но правда придется следовать идее «один запуск пхп — один тест», т.к. иначе не всегда будет понятно чей именно пик зафиксирован.