Как я решил вопрос с бекапами больших объемов данных.

Целую неделю у нас шел интенсив по копирайтингу, был сильно занят проверкой работ (кстати, получился огненный огонь!). Зато сейчас нашел время рассказать вам о героическом решении одной сложной задачи. Будет очень полезно для всех, у кого папка «разобрать» уже больше 50 терабайт 🙂

Многие из вас уже знают, что я активно снимаю и запускаю онлайн тренинги в хорошем качестве. Местами даже отличном. У этого подхода одни плюсы для студентов – картинка сочная, звук четкий, монтаж хороший. Ведь снимаем с двух камер в 4К, плюс отдельно пишем звук. Вы уже догадываетесь, куда я веду? Верно. К тому, что это занимает просто неприличные объемы на жестких дисках.

Вот для примера всего один тренинг – в папке лежат исходники, и обработанные видео, которые потом выкладываются на нашу образовательную платформу.

На моей рабочей станции (внутри) воткнуто уже 40 терабайт жесткими дисками, и еще 10 внешних дисков по 8 тб лежат вокруг меня алюминиевыми кирпичами. Хоть цена на внешние диски и вкусная, но вариант докупать эти диски и использовать их как бекапы в больших количествах вызывает некоторые сомнения.

И сомнения эти связаны с ценой. Допустим, мне надо делать бекапы на 100 терабайт. Давайте посчитаем. Lacie 12 big с raid 5 будет мне стоить с доставкой около 400 тысяч. Неприлично сразу такие деньги выдавать.

Перед новым годом народ мне предлагал варианты собрать свой массив из сервера в отставке и 10-12 дисков. Но диски по 10тб стоят 20 тысяч, то есть 100 терабайт дисками мне встанут в 200 штук. Тоже больно. А если докупить для raid 5 еще диска 2-3, то будет еще больнее. К тому же серверное железо не оборудовано молошумящими вентиляторами.

Так вот я ходил, бродил и снова открыл для себя стримеры. По мне – так идеальное решение для хранения больших объемов данных. Давайте расскажу о ходе моих мыслей.

Смотрите, что у нас есть на рынке. Есть стандарты записи LTO – это разные поколения стримерных форматов. Например, LTO-7 позволяет писать на один картридж 6 терабайт на скорости 300 мегабайт в секунду. Жирно, согласись? Но это поколение сейчас достаточно много стоит, а мы же помним, что я не еврей, но деньги считаю.

Я остановился на LTO-5, причем устройство (привод) я взял себе внешнее, просто потому что оно стоит сейчас даже дешевле внутренних дисков. На ебее привод мне обошелся в 399 долларов, или 26 тысяч рублей. К нему еще нужен SAS контроллер, и их на ебее просто навалом – докладываем еще 50 баксов, и еще один полтинник за доставку.

Вы спросите меня: так, ты заплатил пол тысячи долларов, а места не купил вообще? Да, отвечу вам я, еще надо покупать картриджи. Но хитрый изворотливый ум московского сисадмина позволяет ему иногда продавать излишки картриджей на авито, что позволяет мне купить 20 новых картриджей за 15 тысяч рублей.

20 картриджей – это 30 терабайт без сжатия, или 60 с компрессией. Чуете?

Если взять стоимость 100 терабайт, то у нас получается usd 500 за привод, карту и доставку, и 50 тысяч за картриджи объемом на 100 тб без компрессии. То есть на больших объемах данных цена сразу получается ниже в два с копейками раза. А если данных будет 200-300 тб, то там еще вкуснее.

Теперь как это работает по факту. Настолько просто, что я снова возрадовался. Я воткнул карту в PCI слот, кабель воткнул в привод, туда же – питание, вставил картридж, и простую софтину, которая монтирует привод как еще один логический диск.

Потом – хоть через проводник работай, хоть через far, хоть через софт бекапа.

Реальная скорость работы отличается от заявленных терабайта в час, обычную папку с файлами копирует по 500 гиг в час примерно. Так же и считывает – можно с устройства даже кино смотреть, не копируя на диск. Да, выше скорость доступа – надо перемотать ленту. Да, шумит – но драйв выключается. НО! Есть самые главные фишки!

1. Стандарт LTO рассчитан на хранение данных по 30 лет, а это уже совсем не жесткие диски. Плюс зажита от электромагнитного излучения и прочее. То есть одну копию держим дома, втору в банковскую ячейку, и лежать оно будет по меркам тренингового рынка практически вечность. Две вечности.

2. Стандарт LTO прописан так – «чтение на три поколения назад». То есть, если я перейду на LTO-8, то все картриджи я прочитаю спокойно.

3. Картриджи можно покупать по мере необходимости, и хоть по одной штуке. Авито в помощь. На ебеее они по usd 20 за штуку.

4. Стандарт LTO-4 записывает без сжатия «всего» 800 гигабайт, но приводы на авито стоят по 12 тысяч, а картриджи можно найти по 500. То есть цена входа еще ниже.

5. Для «холодного» бекапа больших данных это вещь, я считаю. Да и по деньгам – крайне разумно.

Вот чем я хотел с вами сегодня поделиться. Штуку эту крайне рекомендую для мастеров продакшена, видео студий, коллег – тренеров и мастеров домашнего документального видео.

Что скажете?