Arq и Google Drive

Недавно я рассказывал о решении для offsite-бекапов — Arq. Отличная программа, продолжаю пользоваться и очень доволен тем, что этот вопрос теперь у меня закрыт. Точно так же как SuperDuper«ом для локальных бекапов.

Однако есть одна «особенность» при работе с Google Drive. Скорой выйдет апдейт Arq и она станет почти неактуальной, но я хочу вас предупредить.

Итак, Google Drive. Быстрый вариант с вполне привлекательной ценой «flat fee» за 1 TB, куда поместится практически всё.

Говорят, что Amazon S3 + Glacier может быть дешевле, это я проверю в следующем месяце. Сейчас по S3 у меня неоднозначная ситуация — я стал делать бекапы всех серверов на S3 с помощью duply и не могу оценить, сколько денег я плачу за сервера, а сколько за Arq. Суммарно с начала месяца мне насчитали 140 GB Data Transfer на $0.00 и $2.5 за реквесты, и это вполне устраивает.

В любом случае Google Drive + Amazon S3 + SFTP NAS дают хорошую надёжность и разумную цену.

Но как хранятся данные Arq в Google Drive? В доступных версиях при добавлении учётной записи Google по умолчанию включено «Store data in hidden «appdata» folder». Этот «Application Data Folder» доступен только зарегистрированному разработчиком приложению, и ни через web-интерфейс, ни через API, ни через сторонних клиентов к нему доступ не получить. И вот тут появляется побочный эффект — без Arq данные не удалить.

После установки «с нуля» OS X 10.10 я начал бекапы тоже «с нуля». Старые остались, отъедая место и мне пришлось купить 1TB Google Drive за $9.99 в месяц. Это меня устраивало на время, пока сделаются новые бекапы, но потом столько не нужно, 100 GB за $1.99 хватает. Начал удалять старые данные через Arq. Не тут-то было. За 3 суток ничего не поменялось, данные не удалились, Arq висел в состоянии «удаляю», а в логах была куча ошибок http 500 от API Google Drive и эпизодические неторопливые успешные удаления файлов.

Ко всему прочему Google Drive далеко не «надёга». Посмотрите на App Status Dashboard. Я как раз начал процесс 22-го и активно продолжил 27-го, когда были продолжительные проблемы. Между сбоями тоже было не лучше. Саппорт Google не признавался в наличии сбоев 27-го. Я было думал их попросить удалить данные, но получилось, как в советском анекдоте, когда для покупки туалетной бумаги приходилось приносить унитаз и анализ кала. Вместо того, чтобы «удалить недоступный для меня через web-интерфейс /appdata/Arq Backups», меня замучали требованиями «пришли скриншот» (!), «дай кусок лога». Понятно, что доступа к данным у рядовых саппортов нет, но зачем им разбираться в работе сторонней программы, когда есть явная просьба явного владельца. Я бы и скан паспорта выслал, и заявление, и ещё чёрт знает что. Не держать же мёртвым грузом 250 GB данных без надежды на их удаление. Послал всё-таки бесполезные логи с десятками ответов от API «Internal Error», «Backend Error» и скрины, пообещали передать запрос на 2nd line. Спасибо, блин.

Уже был готов удалить учётную запись Google, чтобы удалились эти злополучные данные /appdata, но вот email«а своего я бы лишился, а на него завязан с десяток лицензий на софт. К счастью всё необходимое уже давно перевёл на новый email, поэтому как крайний вариант удаление вполне подходило.

Заодно написал баг-репорт разработчику Arq. Через пару часов он ответил, дал ссылку на билд 4.6.3.4 и описание, что делать. В новом билде по умолчанию /appdata не отмечен, каталог Arq Backups теперь виден через web-интерфейс и его при желании можно просто удалить в отличие от /appdata.

Поставил. Заодно Google Drive починился. Теперь я смог удалить и добавить учётную запись Google Drive за секунды, а вчера из-за 500-х ошибок это было невозможно. Выбрал «удалить» Backup Set для старой машины — секунд за 10 отработало. Отлично.

Следующая непонятка возникла, когда даже через час после удаления место не освободилось. Те же 250 GB. Начал копать, как удалить удалённые файлы из /appdata. Правильный ответ — никак. Обращаться в саппорт смысла ноль. Занялся делами, ещё через час проверил — таки да, всё-таки занятое место уменьшается. За два часа уменьшилось на 38 GB. Ну и славно, файлов там было много, пусть работает, благо теперь всё понятно.

Что произойдёт, если перейдёшь на тариф с меньшим объёмом, чем записано в GD? Старые данные там останутся. На сколько времени — не знаю. Новые записать будет невозможно. Стоит учесть, что место в Google Drive разделяется с Google Mail, поэтому почта тоже перестанет доставляться («You«re out of storage space and will soon be unable to send or receive emails until you free up space or purchase additional storage»).

Вывод 1. Если не уверены, то ни в коем случае не используйте при добавлении Google Drive «Store data in hidden «appdata» folder». У вас не будет никакого над ним контроля. У Amazon S3 при необходимости bucket удаляется просто через web-интерфейс.

Вывод 2. Разработчик Arq — молодец.

Вывод 3. Саппорт Google — отстой.

Полный текст статьи читайте на TheAppleGeek