[Из песочницы] Собираем XGBoost под OS X15.02.2016 08:03

XGBoost — С++ библиотека, реализующая методы градиентного бустинга, которую все чаще можно встретить в описаниях алгоритмов-победителей на Kaggle. Для использования из R или Python есть соответствующие обвязки, но саму библиотеку необходимо собрать из исходников. Запустив make, я увидел массу ошибок, сообщающих о ненайденных хидерах и неподдерживаемом OpenMP. Ну, не впервой.
План следующий:

  1. Скачать XCode
  2. Установить command line tools
  3. Собрать Clang c поддержкой OpenMP
  4. Собрать Intel OpenMP библиотеку
  5. Прописать путь к OpenMP библиотеке и соответствующим хидерам
  6. Собрать XGBoost
  7. Установить обвязку для Python
  8. Покорять топы лидербордов на Kaggle


1. Скачать XCode
XCode можно совершенно бесплатно скачать из App Store. После установки, набрав в командной строке терминала gcc -v, мы должны увидеть на экране примерно следующее: 

Configured with: --prefix=/Applications/Xcode.app/Contents/Developer//usr --with-gxx-include-dir=/usr/include/c++/4.2.1
Apple LLVM version 6.1.0 (clang-602.0.53) (based on LLVM 3.6.0svn)
Target: x86_64-apple-darwin14.3.0
Thread model: posix


2. Установить command line tools
Если пропустить этот шаг, компилятор не сможет найти стандартные библиотеки C и C++. В терминале необходимо запустить

xcode-select --install


и следовать инструкциям.

3. Собрать Clang c поддержкой OpenMP
Эта версия компилятора поддерживает OpenMP-инструкции для распараллеливания и разрабатывается сотрудниками Intel. Можно надеяться, что в один прекрасный день эта ветка вольется обратно в транк, и OpenMP будет доступно в оригинальном Clang из коробки. Судя по всему, некоторое время назад можно было установить clang-omp с помощью brew, но это счастливое время прошло. Итак, собираем компилятор: 

mkdir clang-omp && cd clang-omp
git clone https://github.com/clang-omp/llvm
git clone https://github.com/clang-omp/compiler-rt llvm/projects/compiler-rt
git clone -b clang-omp https://github.com/clang-omp/clang llvm/tools/clang
mkdir build && cd build
cmake ../llvm -DCMAKE_BUILD_TYPE=Release
make -j 4


Если ядер на машине больше 4, имеет смысл поправить цифру в последней команде.

4. Собрать Intel OpenMP библиотеку
Библиотека для поддержки OpenMP так же собирается из исходников. Скачиваем, распаковываем, собираем: 

mkdir build && cd build
cmake ..
make -j 4


5. Прописать путь к OpenMP библиотеке и соответствующим хидерам
Чтобы компилятор и линкер при сборке XGBoost смогли найти необходимые им компоненты, нужно прописать к ним пути. Для этого необходимо добавить в ~/.bash_profile следующие строки: 

export C_INCLUDE_PATH=PATH_TO_LIBOMP/libomp/exports/common/include/:$C_INCLUDE_PATH
export CPLUS_INCLUDE_PATH=PATH_TO_LIBOMP/libomp/exports/common/include/:$CPLUS_INCLUDE_PATH
export LIBRARY_PATH=PATH_TO_LIBOMP/libomp/exports/mac_32e/lib/:$LIBRARY_PATH
export DYLD_LIBRARY_PATH=PATH_TO_LIBOMP/libomp/exports/mac_32e/lib/:$LD_LIBRARY_PATH


Как можно догадаться, PATH_TO_LIBOMP — путь к папке, где лежит библиотека. Чтобы изменения вступили в силу, необходимо выполнить команду 

source ~/.bash_profile


Необходимо убедиться, что все работает корректно. Для этого создадим программу-сэмпл

#include 
#include 
#include 

int main(int argc, char** argv) {
    std::cout << "Hello!" << std::endl;
    #pragma omp parallel
    printf("Hello from thread %d, nthreads %d\n", omp_get_thread_num(), omp_get_num_threads());
    return 0;
}


и попытаемся ее скомпилировать: 

PATH_TO_CLANGOMP/clang-omp/build/bin/clang++ sample.cpp -o sample -fopenmp


Если все хорошо, запустив программу, мы увидим на экране сообщения из нескольких тредов.

6. Собрать XGBoost
Мы почти у цели. В папке xgboost лежит Makefile, первые строчки которого необходимо отредактировать следующим образом: 

export CC  = PATH_TO_CLANGOMP/clang-omp/build/bin/clang
export CXX = PATH_TO_CLANGOMP/clang-omp/build/bin/clang++
export MPICXX = mpicxx
export LDFLAGS= -pthread -lm 
export CFLAGS = -Wall -O3 -msse2 -Wno-unknown-pragmas -funroll-loops -fopenmp


Собираем: 

make -j 4


Победа.

7. Установить обвязку для Python

cd wrapper
python setup.py install


Убедиться, что обвязка XGBoost работает должным образом, можно с помощью демо-скриптов, лежащих в xgboost/demo.

8. Покорять топы лидербордов на Kaggle
Внезапно отключилось электричество, и эта самая важная часть, к сожалению, была утрачена и будет освещена в дальнейшем.

© Habrahabr.ru