Ускорение запуска Julia при помощи PackageCompiler.jl09.05.2019 12:02

habr.png

Зайдя на официальный сайт языка программирования Julia, можно увидеть утверждение: «Julia is fast!». Однако, новые пользователи на практике сталкиваются с проблемой медленной загрузки модулей, в особенности графических [1,2]. Диалектически, причиной медленного запуска является использование JIT компиляции, использование которой и обеспечивает высокую производительность языка. При желании, с особенностями JIT можно ознакомиться в других статьях. В данной статье пойдёт речь о более практической задаче — о том, как ускорить запуск модулей в Julia при помощи PackageCompiler.jl.

В данной статье используется julia v1.1.0. Кроме того, работа метода была проверена на julia v1.0.3.
Для оценки времени выполнения использовался тривиальный скрипт: 

@time using Plots

x = 0:0.01:10000
y = @. sin(π*x)

@time plot(x,y) # Первый, медленный запуск
@time plot(x,y) # Второй, быстрый запуск

Запуская этот скрипт на стоковой julia, получены следующие значения: 

  2.804964 seconds (5.03 M allocations:x 291.243 MiB, 5.35% gc time)
 13.546407 seconds (45.64 M allocations: 2.232 GiB, 9.00% gc time)
  0.013167 seconds (2.14 k allocations: 7.788 MiB)

Как видно, первое выполнение команды plot длится невероятные 14 с. Следующее за ним — уже 0,01 с.

Попробуем улучшить эти показатели. Для начала, установим модуль PackageCompiler: 

import Pkg
Pkg.add("PackageCompiler")

Далее, протестируем сборку зависимости модуля Plots: 

import Pkg
Pkg.add("Arpack")
Pkg.build("Arpack")

Если выполнение последней команды прервалось с ошибкой
ERROR: LoadError: LibraryProduct(...) is not satisfied, cannot generate deps.jl!
, то Вы стали жертвой Issue #5. Проблема связана с использованием внешних динамических библиотек и должна будет решиться после интеграции BinaryProvider. В качестве временного решения, по совету blegat, соберём библиотеку сами: 

git clone https://github.com/opencollab/arpack-ng.git /tmp/arpack && cd /tmp/arpack
git checkout 3.5.0
bash bootstrap
./configure --enable-mpi --enable-shared
make
cp SRC/.libs/libarpack.so.2.0.0 ~/.julia/packages/Arpack/UiiMc/deps/usr/lib/

После выполнения данных манипуляций ошибка должна пропасть: 

import Pkg
Pkg.build("Arpack")

Настало время компиляции пакета Plots: 

import Pkg
Pkg.add("Plots")
using PackageCompiler
compile_package("Plots")

Компиляция длится достаточно долго с большим количеством текста в консоли. Обратите внимание на последнюю строку лога: 

┌ Info: Not replacing system image.
└ You can start julia with `julia -J /home/user/.julia/packages/PackageCompiler/oT98U/sysimg/sys.so` at a posix shell to load the compiled files.
"/home/user/.julia/packages/PackageCompiler/oT98U/sysimg/sys.so"

В ней указано расположение скомпилированного образа и подсказка, как его запустить.
Запустим тестовый скрипт с использованием этого образа: 

julia -J /home/user/.julia/packages/PackageCompiler/oT98U/sysimg/sys.so /tmp/test.jl
  0.000251 seconds (501 allocations: 26.766 KiB)
  0.028105 seconds (22.55 k allocations: 8.847 MiB)
  0.017211 seconds (2.14 k allocations: 7.788 MiB, 18.16% gc time)

Таким образом, время первого запуска функции plot удалось снизить с 14 c до 0,03 с.

Данный метод можно использовать для экспорта образов нескольких библиотек, модификации системного образа и компиляции статических программ. Чтобы узнать подробнее о PackageCompiler.jl, обратитесь к описанию в репозитории проекта.

© Habrahabr.ru