Офлайновый мир: обзор инструментов цифровых «выживальщиков» на 2022 год
Многие из нас слышали о «выживальщиках». Так называют тех людей, кто заранее готовится к различным кризисным сценариям. Если привычная инфраструктура вдруг перестанет существовать, то у них есть «план Б». «Выживальщики» приобретают соответствующие навыки выживания в лесу, обзаводятся всем необходимым для автономного существования.
Но человеку требуются не только инструменты для строительства и припасы. Нужна также информация. Сегодня мы затронем тему сохранения и систематизации полезных данных для дальнейшего использования в автономном режиме.
Как и зачем это делать?
Активное развитие онлайн-сервисов побудило множество людей отказаться от локальных хранилищ данных. Музыка и фильмы, фотографии и документы — всё это теперь хранится на жёстких дисках облачных провайдеров в ЦОДах, разбросанных по всему миру.
С одной стороны, всё достаточно логично и разумно — повсеместная доступность интернета полностью оправдывает такое поведение. Но вот в условиях, когда невозможно с уверенностью сказать, будут ли завтра работать привычные сервисы, нужны и локальные хранилища.
Запустить их несложно, ведь автономное хранение данных доступно для всех. Ёмкие внешние диски, флешки, карты памяти сейчас есть в любом магазине техники по адекватной цене. В качестве аппаратной платформы можно взять готовый NAS-сервер или собрать его самостоятельно. Что касается ПО для такого оборудования, то всё более-менее понятно. Кому-то будет привычно работать с обычным хранилищем файлов, а для кого-то будет удобнее использовать своё собственное «облако», такое как NextCloud.
Но проблема в том, что часто нужны не просто отдельные файлы, а сайты целиком. Ну, например, Stack Overflow, Wikipedia или любой другой ресурс. Как сделать локальную копию? Как скачать карту мира, пригодную для использования на разных устройствах? В каком виде стоит хранить электронные книги и свои собственные заметки?
Существует множество разных инструментов, решающих эту задачу. О них и пойдёт речь дальше.
Что это за инструменты?
Kiwix
История создания: 16 лет назад два разработчика — Эммануэль Энгельхард и Рено Годен — создали пакет приложений Kiwix для работы с файлами формата OpenZIM. Разработали его для того, чтобы выпустить всю немецкую Википедию на DVD-диске.
Возможности ПО: пакет не требует установки и может работать с любого носителя. Это нужно пользователям, у которых нет подключения к интернету. Например, в экспедиции на море или полярной станции. Интернет-соединение в таких местах отсутствует полностью или услуга слишком дорогая для привычного веб-сёрфинга.
Сильные стороны Kiwix — простое индексирование и полнотекстовый поиск. На официальном сайте есть версии приложения не только под десктопные Windows/Linux/macOS, но и под мобильные платформы Android и iOS. Есть сборка и под «малинку».
Kiwix с открытым ZIM-файлом Википедии на русском языке
Как использовать: архивы с данными можно скачать в хранилище проекта. Актуальная на момент написания статьи русскоязычная Википедия с 1 636 223 статьями и картинками весит 31,5 Гб. Архивы обновляются, но не очень часто. Помимо прямого скачивания доступны magnet-ссылки или торрент-файлы.
Если нужен свежий слепок Википедии, можно воспользоваться утилитой mwoffliner. Она может создавать копию любого ресурса на движке MediaWiki. Скорость создания будет напрямую зависеть от производительности канала связи. Итоговый ΖΙΜ-файл собирается другой утилитой zimwriterfs. Указываем директорию, а всё остальное утилита берёт на себя. Всё, что можно сжать, будет сжато и объединено в единый файл.
HTTrack
Стартовый экран веб-версии HTTrack
История создания: в 1998 году появился на свет офлайн-браузер HTTrack. Автор приложения Xavier Roche задался целью сделать простой и удобный инструмент для загрузки веб-сайтов на локальный компьютер. Удивительно, но даже спустя столько лет он актуален и продолжает развиваться.
Возможности ПО: для разных операционных систем применяется разный подход к управлению утилитой. Пользователям Windows доступно классическое приложение WinHTTrack (помимо GUI есть CLI). Linux-версия запускает локальный веб-сервер, всё управление производится через веб-интерфейс. Разумеется, здесь тоже есть управление через консоль. Кстати, есть даже версия для Android. Отличная возможность дать работу вышедшему на пенсию смартфону.
Как использовать: в Debian/Ubuntu установка производится одной командой:
sudo apt install webhttrack
Перед началом работы можно задать максимальную глубину скачивания, количество одновременно открытых Keep-Alive-соединений, ограничение скорости загрузки, количество повторных попыток и прочие опции.
После запуска процесса пользователь получает рабочее локальное зеркало нужного сайта локально. Работать с ним можно без подключения к интернету. А чтобы сэкономить место на диске, полученный результат можно скомпоновать в ZIM-файл и скормить Kiwix.
zimwriterfs -w index.html -I backblue.gif -l ru -t Forum -d Forum -c User -p User /home/user/websites/forum /home/user/Documents/forum.zim -v
Вот, к примеру, локальная копия старейшего форума радиолюбителей:
Kiwix с открытым ΖΙΜ-файлом, созданным при помощи HTTrack
Obsidian
Внешний вид приложения Obsidian
История создания: приложение изначально создавалось для построения персональной базы знаний. Чтобы сделать её максимально открытой и легко переносимой, все записи представляют из себя обычные текстовые файлы с Markdown-разметкой.
Возможности ПО: многие из читателей Хабра привыкли вести заметки в том или ином виде. Часто это делается через такие сервисы, как Notion, Evernote или Roam. Они удобные, но проблема в том, что если эти компании захотят, то смогут полностью закрыть доступ к данным. Конечный пользователь от этого никак не защищён. Решает проблему Obsidian.
Как использовать: существует множество вариантов миграции:
Конечно, это вовсе не «серебряная пуля», однако Obsidian передаёт контроль за данными в руки пользователя. При необходимости их без проблем можно забэкапить и сжать для экономии дискового пространства. Также есть интересная фишка представления взаимосвязей через граф. Obsidian формирует это представление автоматически, исходя из внутренних ссылок.
Так выглядит представление через граф
Obsidian отлично подходит на роль локальной базы знаний и хранилища заметок, без необходимости прибегать к онлайн-сервисам.
Calibrе
Главное окно приложения Calibre
История создания: 31 октября 2006 года, когда Sony представила свою читалку PRS-500, разработчик по имени Ковид Гоял приступил к созданию libprs500. Это ПО для поддержки форматов PRS-500 в Linux. Гоял реконструировал проприетарный формат файлов электронных книг Broad Band (BBeB). В 2008 году программа, для которой был разработан графический интерфейс пользователя, была переименована в Calibre.
Возможности ПО: Calibre в особом представлении на Хабре не нуждается. Это одновременно и утилита для создания книг, и универсальный конвертер в разные форматы, и каталогизатор. У Calibre обширные возможности по конвертации и работе с разными читалками. Кроме того, он может работать в качестве сервера, давая доступ к собранной библиотеке через web-интерфейс:
Внешний вид веб-сервера Calibre
Как использовать: запустить сервер, а также задать необходимые настройки можно в разделе «Параметры — Обмен через сеть». Сервер обеспечивает доступ к файлам для пользователей в локальной сети.
Кроме того, сервер поддерживает возможность управления доступом пользователей к контенту через авторизацию, а также формирует свой собственный OPDS-каталог. Это позволяет легко подключаться к библиотеке прямо через читалку и скачивать оттуда книги напрямую. Для других устройств, например Kindle, можно использовать экспериментальный браузер и версию сайта без JavaScript.
Planet OSM
Знаменитая «Зона 51» в OSM
История создания: OpenStreetMap, некоммерческий веб-картографический проект по созданию силами участников сообщества — пользователей интернета подробной свободной и бесплатной географической карты мира, впервые был анонсирован в июле 2004 года. Его основатель, Стив Кост, решил, что на базе принципов Wikipedia можно построить и открытый картографический сервис, что и было сделано.
Возможности ПО: мы привыкли, что в смартфоне всегда есть какой-нибудь сервис вроде Google Maps. Но что, если нужны офлайн-карты? Причём не какого-то отдельного района или города, а глобальные. Здесь и пригодится OpenStreetMap. Проект еженедельно публикует глобальную карту мира, доступную для скачивания всем желающим.
Она довольно большая, чуть более 120 Гб (сжатие bzip2) или 66 Гб (сжатие BPF), зато содержит в себе всю картографическую информацию о нашей прекрасной планете.
Как использовать: для загрузки можно воспользоваться торрент-файлами с ресурса http://osm.cquest.org/torrents/. Для обновления необязательно полное скачивание, каждую неделю публикуется дельта изменений.
Полученный файл необходимо распаковать (165 Гб в «сыром» виде) и открыть с помощью таких утилит, как Merkaartor или QGIS. Карты можно и редактировать, не только просматривать. Ещё один важный момент — OSM-карты легко конвертируются в формат разных навигационных устройств, например GPS-трекеров.
Universal Media Server
История создания: софт появился как ответвление PS3 Media Server. Первый анонс — 31 мая 2012 года. За UMS стоит целая группа разработчиков.
Возможности ПО: кроме книг, карт и прочего контента, в офлайне «выживальщиков» будут крайне востребованы сериалы, записанные ТВ-передачи и фильмы. Всё это можно хранить просто в виде набора файлов, но более верным способом будет каталогизировать любые шоу и фильмы, после чего подготовить к потоковой передаче на устройства в локальной сети. Один из инструментов для этого — Universal Media Server.
Веб-интерфейс UMS
Как использовать: это кроссплатформенное Java-приложение, которое спокойно запускается практически в любых операционных системах и просто делает свою работу. При запуске оно ориентируется на заданные в качестве источника директории и готовит простой веб-интерфейс. Транскодирование осуществляется «на лету», что достаточно удобно. Из минусов — тяжеловато, поскольку написано на Java. Для слабых устройств лучше посмотреть в сторону miniDLNA.
Локальные репозитории Linux
В завершение нашего обзора предлагаем подумать над тем, как будут жить компьютеры под управлением Linux без возможности выхода в онлайн. С одной стороны, можно просто собрать набор используемых пакетов и на этом остановиться. С другой — хочется иметь пространство для манёвра и собственный репозиторий с приложениями и зависимостями для любимого дистрибутива.
Самым простым в этом будет использование дистрибутива Debian/Ubuntu и инструмента apt-mirror. Утилита изначально была разработана Дмитрием Храмцовым (судя по хэндлу, он зарегистрирован на Хабре как @highdn) для копирования Debian-репозитория его университета. Ныне же её разрабатывает и поддерживает Брендон Холтсклоу (Brandon Holtsclaw).
Конфиг по умолчанию /etc/apt/mirror.list в Ubuntu 22.10
Процедура создания зеркала репозитория была детально описана 12 лет назад тут же, на Хабре. Она прошла испытание временем и отлично работает на самой актуальной версии Ubuntu.
Вместо заключения
Теперь вы знаете, при помощи каких инструментов можно создать локальное хранилище самых разных типов контента — от Википедии до своего собственного репозитория Linux. Всё это отличный способ не только вернуть себе контроль над данными, но и быть готовым к тому, что привычные ресурсы в какой-то момент могут стать недоступными.
А есть ли у вас локальное хранилище? Или вы всё храните в облаках? Знаете более интересные и полезные инструменты на этот случай? Напишите нам. Ждём ваши ответы в комментариях!
