Как я организовал хранение фотографий08.04.2019 15:17

Привет Хабр! Каждый из нас хранит какую-нибудь информацию, некоторые для этого используют секретики и лайфхаки. Лично я люблю понажимать кнопку фоторужья и сегодня хотел бы поделиться своим опытом хранения информации, к которому я шёл-шёл и пришёл.

Сразу предупрежу: под катом нет «серебряной пули», которая умножит на 0 проблему хаоса в файлах на ваших устройствах. И даже ни строчки про нейросети, распознавание чего-либо кем-либо и прочие нанотехнологии. Под катом — немного текста и дубовая табличка, которую ещё и заполнять придётся вручную =) Но которая работает.

Интро

Прежде чем понять, какую проблемы я хотел решить, давайте я вкратце расскажу про неё =) Я не считаю себя прям фотографом-фотографом, но всё же:

Имею фоторужьё и фоткаю в RAW (каждая фотка весит в среднем 20–25 МБ)
У меня встал вопрос хранения и структуризации фотографий (а точнее их исходников)

Теперь чуть более подробней.

Я использую 1–2 карты памяти по 64 ГБ (не те, что на фото ниже, хотя я знаю, что они уже попали в поле зрения)) — покупать более объёмные карты (128–256) меня поддушивает жаба. Даже не столько жаба, сколько отношение к карте как к некому расходнику, с которым в любой момент может случиться фиаско: карты я терял, гнул, а один раз её тупо спёрли прямо из фотика. Да и «все яйца в одной корзине» — не самый дальновидный подход.

Вот что бывает, когда забыл вытащить карту из ноутбука, положил его на пассажирское сиденье и резко затормозил. И на эти грабли — два раза.

64 ГБ это где-то 2000–2500 фотографий в равах. В моём случае это 4–6 фотосетов мероприятий или около 10 «гаджетных». Посмотрите мои предыдущие публикации и увидите, зачем столько много. Кто-то скажет «зачем так мучать кнопку спуска» и будет прав, но я выше написал, что я немного нуб. Более того, имею пагубную привычку делать по два кадра — если первый получится смазанным, то, возможно, второй придёт на помощь. У меня это на уровне инстинкта и пока ничего не могу с этим поделать. Это же ответ на вопрос «зачем я фоткаю в равы» — да банально чтобы исправлять потом свои же косяки, всякие там пересветы-недосветы и прочие геометрии.

Проблема

За долгое время я так и не смог найти программу, которая помогла бы мне в полной мере покрыть мои потребности в хранении данных. Есть каталогизаторы, есть удобная работа с мета-тегами, с распознаванием лиц и нанесением фото на карту — целый вагон крутых фич, но… раскиданных по разным приложениям. Перечислю несколько подводных камней, о которые спотыкались почти все приложения.

Проблема номер 1: вот лежит на столе карта памяти — что на ней? Никогда не знаешь. Конечно, можно поскроллить 2000 фоток на фотоаппарате, вставить в ноут или вести заметки в смартфоне, но «общей картины» это не даст. И не ответит на вопрос »а сделал ли я уже бэкап этих данных или их можно удалить безвозвратно? », если, например, срочно надо освободить место? Ведь свободных 64 ГБ может не оказаться под рукой.

Проблема номер 2: никогда не знаешь, в каком состоянии фотографии. Отсортированы? Обработаны? Можно удалять или сперва скинуть на комп? Вам же знакомы эти бесконечные папки «From SD», «SD64 LAST»,»! UNSORTED»,»2018 ALL», «iPhone_before_update» и прочее? =) На ноуте, на карте памяти, на внешнем диске, с кучей повторов? И это гнетущее ощущение,»надо бы порядочек во всём этом навести — вот будут свободные выходные…». А свободных выходных всё нет и нет.

Проблема 3: , а как вообще быстро найти нужные фоточки? Например, недавно мне понадобилось делать коллаж из всех «первых сентябрей» за несколько лет. Хранить на ноуте? Не влезет. Шерстить по разным дискам? Ну, как вариант. Но неудобно же?…

Я буду крайне благодарен, если вы мне подскажете более функциональный и гибкий вариант, чем тот, который я методом проб и ошибок придумал для себя (ниже). Повторюсь, что речь не про просмотрщик/сортировщик фоток, а именно про удобство/наглядность/информативность.

Решение

Я решил использовать такой крутой инструмент, как таблицы в GoogleDocs =) Он бесплатный, кроссплатформенный и тэдэ — думаю, в представлении не нуждается. Перед составлением каркаса таблички, я постарался понять, какие поля мне нужны. Их можно придумать хоть сотню, но надо сделать так, чтобы ими было удобно пользоваться и не надоедало каждый раз заполнять. Ну и постараться учесть дальнейшее масштабирование: чтобы табличкой было удобно пользоваться через год-два-три.

Свои думы я остановил на следующем наборе полей:

Категория. Я проанализировал то, что фотографирую и разбил это на категории. Получилось так:
Cars — автомобили
Events — мероприятия
Gadgets — гаджеты
Girls — ну вы поняли
Home — что-то домашнее, семейное
Life — любая движуха, не попадающая в категории выше
— =)
Travel — путешествия

Все фотосеты будут раскладываться по этим разделам. Если вы прям много-много фотографируете, то каждый раздел удобней держать на отдельном листе (внизу таблицы).

Важно: постарайтесь избежать создания категории «Other» (Разное), так как именно в ней зародится хаос, который схлопнет вселенную. Максимум — »! Temp», в которую вы будете сливать файлы для дальнейшей сортировки по другим категориям.
Название. Внутри категории у каждого фотосета есть название — надо давать такие имена, которые будет легко вспомнить или найти. Здесь удобны 2 варианта: по алфавиту или в хронологическом порядке. Я чередую оба варианта: в гаджетах удобней использовать названия устройств, в мероприятиях — маску типа »2018–03–08 — 8 марта». Если что, всегда есть CMD+F.
Где сейчас. В этом столбце я указываю, где сейчас хранятся фотографии — на карте памяти фотика, на ноуте, на внешнем диске или в облаке. Если местоположение данных меняется, табличка обновляется. Важно указать информацию о фотосете сразу, иначе потом забудется.
Штук до сортировки. Не всегда получается (а точнее, вообще никогда не получается) взять сразу и отсортировать гигабайты RAW-ов, обычно их просто скидываешь с карты памяти. И тут важно понимать, сколько фотографий в фотосете — чтобы примерно прикидывать, сколько времени уйдёт на сортировку и обработку.
Лайфхак: полезным будет знать среднюю скорость сортировки и обработки фотографий, если вы этим вообще заморачиваетесь. Просто ставите таймер на 5–10 минут и потом смотрите, сколько успели облагородить. У меня в среднем уходит по 2–5 минут на фотографию (при условии, что я хорошо знаю хоткеи в фотошопе). Далее см. п. 8.
Сортировка и обработка. Просто два столбца, ячейки которых закрашиваются либо зелёным (= «Сделано»), либо красным (= «Не сделано») цветом. Можно добавить, например, синий — если обработка не требуется. Подобная цветовая легенда наглядно покажет, что и в каком состоянии находится. Опционально в неё можно выводить циферки — скорость работы, умноженную на количество фото после сортировки (см. п. 11).
Под сортировкой я имею в виду отбор лучших кадров (удаление повторов и брака) для дальнейшей обработки, а под самой обработкой — их путь от рава до джипега (который не стыдно показать другим). В дальнейшем внутри каждой папки будут лежать именно обработанные джипеги, а в подпапке «Originals» — равы и *.xmp-шки от них.
Копия в облаке. Обычно нет смысла заливать неотсортированный пласт фоток в облако, это пустая трата времени и места. Туда есть смысл бэкапить уже отсортированные фотографии. А лучше — уже обработанные. Если я заливаю файлы в облако, то делаю кликабельную ссылку на папку — чтобы в нужное место я мог в один клик перейти из таблички, а не лазить по онлайн-файлменеджеру (которые, как правило, тормозят).
Копия на диске. Облака принято считать надёжными, но что-то внутри подсказывает, что лучше иметь бэкап ещё и локально (хотя бы для особо важных данных). Ну либо если речь идёт о каких-то «чувствительных» данных, которые не хотелось бы загружать в инет.
Количество, размер. Количество фотографий после сортировки, а также размер занимаемого ими места. Необязательный столбец, но сейчас попробую объяснить, зачем я его сделал.
Если я вижу некий фотосет с зелёной ячейкой «Сортировка» и красной «Обработка» — это значит, что мне просто нужно некоторое количество свободного времени для довольно тупой и однообразной механической работы. Зная количество и размер фоток, я могу запланировать это занятие. Например, в следующие выходные мне предстоит сгонять на «сапсане» из Москвы в Питер и обратно, то есть я знаю, что у меня будет ноут и 8 часов без стабильного интернета (= отличные условия для обработки фотографий). Примерно прикидываем, сколько фотографий успеем обработать за это время и заливаем нужные фотосеты на ноут. Тут-то и пригодится знание хотя бы примерной скорости обработки 1 фото. У меня на фото уходит от 2 до 5 минут, 8 часов это 480 минут, а значит вряд ли есть смысл копировать на ноут более 300 фотографий (что составляет примерно от 6 до 9 ГБ). У меня в макбуке диск на 256 ГБ, порой приходится «играть в пятнашки», но с табличкой суммарный размер фотосетов никогда не становится для меня сюрпризом.

А дальше просто нужно приехать пораньше на вокзал, чтобы успеть занять столик в вагоне-ресторане =)
Дата съёмки. Важный параметр, который тесно связан со следующим столбцом.
На телефоне. Часто бывает так, что помимо фоторужья приходится параллельно снимать что-то на телефон. Например, если вы фоткаете динамичную сцену (гонки), а знакомого просите снять видео. Или если делаете ремонт и у вас грязные руки — доставать фотик не хочется, а снять на телефон — в самый раз. Как результат — прямо сейчас на 128-гиговом айфоне у меня 25000 фотографий. Да, там много буллшита, но и нужного хватает.
Чтобы важные телефонные фотки не жили отдельной жизнью, их будет правильней добавить в папку тематического фотосета. И вот как раз по дате искать нужное быстрее всего (хотя геометки тут тоже очень помогают). Если есть пометка «Да» в телефоне — значит мне надо отдельно скинуть фотки с телефона. Если «Нет» — значит или их не было, или они уже скинуты.
Брак. Вряд ли вам пригодится этот столбец, но для себя я пока решил его оставить. Он отображает, какой процент брака с фотосета я удаляю — в среднем это 50%, то есть, как я и говорил, моя проблема в том, что я делаю дублирующие кадры. Я в целом не вижу в этом ничего плохого, shutter count мне не жалко =), но всё же для меня это некий раздражитель, который я вижу каждый раз при заходе в табличку и каждый раз я думаю «поучииииись фоткать, прокачаааай знания и умения». Однажды психану и займусь!
Драфт и пост. В случае, если мне надо что-то написать про фотографируемый объект (например, обзор девайса, коих в моём профиле было немало), то сначала я создаю черновик в гуглдокс, ссылку на который привязываю к слову «Тут». Зелёный цвет — черновик закончен, жёлтый — в процессе, красный — ещё не брался. То же самое с постами — добавление ссылки на пост позволяет в один клик перейти в нужный пост, без всяких там гуглений.
Сразу видно, в каком состоянии все публикации, каков размер «технического долга».

Кликабельно:

Собственно, такая табличка у меня вышла =) Довольно массивная, но я её делал под себя. Если вам понравился мой ход мыслей, то берите и адаптируйте под свои потребности, добавяйте-убирайте.

Опционально можно суммировать вес всех фотосетов, и отсчитывать % занимаемого места на носителе известной ёмкости (этакий прогресс-бар).

Кстати о носителях.

Сначала я хранил файлы только на ноуте, но место быстро кончилось. Купил внешний дисочек на 2.5» — тот относительно скоро сдох по моей вине, так как я его постоянно таскал с собой в рюкзаке и однажды не уберёг.

Решил попробовать Я.Диск, купил 1ТБ — в целом вроде удобно, но в то же время много неудобно: скорость загрузки и скачивания, стоимость, конфиденциальность (вдруг какая-нибудь бета-версия нового алгоритма посчитает мои фотки недопустимыми и почикает весь аккаунт?) и много чего ещё.

Поэтому в итоге я остановился на версии симбиоза: взял два стационарных диска и оставил активной подписку в Я.Диске в качестве транзитного пункта и запасного колеса. В облако улетают те «нечувствительные» данные, которые потенциально могут понадобиться в самом обозримом будущем — например, фотографии девайса, о котором предстоит написать, или фотографии с детских мероприятий, которые предстоит пошарить с другими родителями (наличие зеркалки автоматически обрекает вас на эту функцию в детском саду и школе). На дисках — всё то, чему не место в облаке.

В качестве стационарных накопителей в начале года взял два 3.5» Seagate Ironwolf — серия дисочков специально для NAS-ов. В этой линейке есть модели от 1 до 14 ТБ — на 1 и 2 ТБ несерьёзно, на 6 и более — дороговато. Остановился на модели по 4 ТБ — сперва думал сделать из них JBOD на 8 ТБ, но потом посчитал и понял, что я пока ещё столько не нафоткал =) И в итоге склейл в рейд 1 — чтобы уж наверняка не кусать локти. Диски с 5900 оборотами, поэтому мало шума, особо не греются, со скоростью всё более чем ок (хотя точный замер даже не делал).

1ТБ на Я.Диске стоит 2000 ₽ в год, то есть 4 ТБ обойдутся в ежегодные 8К (лайфхак: если иметь подписку Я.Плюс за 1500 в год, на Я.Диск будет скидка 30%), из плюсов — добавить местечка можно в пару кликов. Seagate Ironwolf на 4 ТБ стоят по 7К за штуку (мне удалось урвать по 6), но зато ты их купил один раз, поставил и забыл — они могут автономно шуршать где-нибудь в шкафу и не просить денег с интервалом в год.

Ради интереса глянул тарифы в Облако@mail.ru — 1 ТБ стоит от 699 ₽ в месяц!) То есть 8400 в год. 4 ТБ — от 2690 ₽ в месяц (32К в год).

Мне 4 ТБ для фотографий пока хватает с головой, но если вы занимаетесь монтажом видео, то будет мало. В общем, считайте сами под свои задачи =)

Важный момент, который следует учесть в расчётах. Недавно я общался с двумя свадебными фотографами — они сказали, что стараются отправить фото клиенту в течение месяца (это уже с ретушью). Потом ещё пару месяцев хранят фотки, а дальше безжалостно удаляют их, оставляя с каждого фотосета лишь пару фотографий для портфолио (и исходники для них на случай, если придётся кому-то что-то доказывать, у обоих такое бывало). Сначала я задумался о таком подходе:»Хм, а может ну его нафиг?! Ведь правда, зачем хранить все эти фотографии чужих свадеб и гаджетов, если ты никогда не будешь их смотреть? ». Ждать магического »а вдруг пригодятся»? Если за последний год у вас не было такого пригождения, то поверьте, не пригодится. Но потом я подумал, что всё же есть разница между своим и чужим — да, семейные фотки и видео тоже не будешь смотреть сейчас, но будет очень приятно посмотреть через 5–10–15 лет. И вот тут-то понимаешь, что свободным местом лучше запастись.

Браузерный лайфхак

Я пользуюсь Хромом и в нём есть удобная панель закладок (CMD+Shift+B). Создаём закладку таблицы с файлами, переименовываем её — присваиваем имя:

(уф, Хабр не поддерживает emoji, пришлось вставить картинкой). Если закладок много, можно сделать с разделителем, мне нравится этот — »⬝». С ним получается вот такая красота:

The end

Этой табличкой я пользуюсь уже около полугода и мне в целом всё в ней нравится, я уже привык её заполнять, пока файлики копируются. Поэтому предлагаю не тратить время на то, чтобы пытаться меня переубедить =) Но в то же время я понимаю, что она из каменного века и в ней, возможно (да не возможно, а точно!) много есть чего улучшить или автоматизировать (для чего нужно больше знаний и времени). Коллективный разум, давай вместе подумаем, как можно это всё улучшить/переделать/оптимизировать, добившись более крутых результатов при минимуме усилий? Любые предложения приветствуются.

Ну или может быть у вас есть свои секреты разносолов хранения файлов — делитесь.

Надеюсь, был полезен =) Успехов!