Еще один кейс на PHP. Скачиваем базу данных из открытого API13.02.2024 14:00

spl_autoload_register(function ($classRequired) {

    include $classRequired . '.php';

});

$_ENV["conf"] = json_decode(file_get_contents(__DIR__ . "/config.json"), true);

$fileWithData = new Downloader();

$fileWithData->searchSourceFileOnWebPage();

 Вот так он у нас теперь выглядит со всеми изменениями. Запускаем скрипт, получаем «data-4-structure-3», то есть именно то, что нужно. Последнее, что нам остается сделать на этом этапе — это сохранить результат в свойство класса private string $fileName.

2.     Качаем базу и ждем, когда наш прогресс-бар покажет, что все готово.

У нас к настоящему моменту есть url и имя файла, который нужно скачать. Это все, что нужно для функции file_put_contents (), которая загрузит в нашу папку museumData базу данных. С другой стороны, учитывая 5 Гб архива, грузиться она будет долго, поэтому нам хорошо бы отслеживать статус загрузки.

Большинство примеров создания прогресс-баров основано на том, что с помощью цикла скачивается несколько файлов. И шкала загрузки складывается из общего числа файлов и пройденных итераций. Но как быть, если скачивается один файл? Придется встроиться в поток PHP, с помощью готовой callback функции stream_notification_callback. Итак, в переменную $path кладем путь до папки museumData, куда мы хотим сохранить базу данных, а в $url — путь на скачивание файла.

Детали работы функции stream_notification_callback — отдельная тема, примерно в таком виде, как здесь, прогресс-бар можно встроить в любое скачивание. Для этого не нужно понимать логику работы функции. Прогресс-бар для консоли, показывающий загрузку прописан после STREAM_NOTIFY_PROGRESS. В переменную $bytes_max попадает общий объем скачиваемого файла, а $bytes_transferred фиксирует, сколько загрузилось байтов от начала загрузки.  

/Downloader.php

  private function getFileInOurFolder ()

    {

        $path = $_ENV[«conf»][«database_saving_folder»];

        $url = $_ENV[«conf»][«source»][«link»] . $this→fileName.».json.zip»;

        function stream_notification_callback ($notification_code, $severity, $message, $message_code, $bytes_transferred, $bytes_max)

        {

            switch ($notification_code) {

                case STREAM_NOTIFY_RESOLVE:

                case STREAM_NOTIFY_AUTH_REQUIRED:

                case STREAM_NOTIFY_COMPLETED:

                case STREAM_NOTIFY_FAILURE:

                case STREAM_NOTIFY_AUTH_RESULT:

                    break;

                case STREAM_NOTIFY_REDIRECTED:

                    echo «Перенаправлены на:», $message;

                    break;

                case STREAM_NOTIFY_CONNECT:

                    echo «Подсоединились…»;

                    break;

                case STREAM_NOTIFY_FILE_SIZE_IS:

                    echo «Получили размер файла:», $bytes_max;

                    break;

                case STREAM_NOTIFY_MIME_TYPE_IS:

                    echo «Получили mime-тип файла:», $message;

                    break;

                case STREAM_NOTIFY_PROGRESS:

                    if ($bytes_transferred > 0) {

                        $perc = round (($bytes_transferred * 100) / $bytes_max);

                        $bar = round ((50 * $perc) / 100);

                        echo sprintf (»\r%s%% [%s>%s] %s», $perc, str_repeat (»=», $bar), str_repeat (» », 50 — $bar), $info = 'каталог Музейного фонда РФ скачивается, подождите');

                    }

                    break;

            }

            echo »\n»;

        }

        $ctx = stream_context_create();

        stream_context_set_params($ctx, array("notification" => "stream_notification_callback"));

        file_put_contents(__DIR__ . $path . 'database.json.zip', fopen($url, 'r', true, $ctx));

    }

}      

Чтобы заставить наш прогресс-бар «прослушивать» скачивание, достаточно просто поместить переменную $ctx параметром функции file_put_contents (). Запускаем приватный метод getFileInOurFolder () через публичный searchSourceFileOnWebPage ():

/Downloader.php

class Downloader

{

    private string $fileName;

    public function searchSourceFileOnWebPage()

    {

        $this->findZipWithXPath();

        $this->getFileInOurFolder();

    }

Теперь мы можем видеть, как происходит наша загрузка.

Скриншот №4

Ждем немного и получаем результат.

Скриншот №5

А вы скачивали базы данных архивами из API, как вы решили задачу? Поделитесь, пожалуйста, в комментариях!

Валентин Рахманов, руководитель отдела разработки сайта «Инглиш Форсаж»

© Habrahabr.ru