Как я решил вопрос с бекапами больших объемов данных.

By | Февраль 25, 2019

Целую неделю у нас шел интенсив по копирайтингу, был сильно занят проверкой работ (кстати, получился огненный огонь!). Зато сейчас нашел время рассказать вам о героическом решении одной сложной задачи. Будет очень полезно для всех, у кого папка «разобрать» уже больше 50 терабайт 🙂

Многие из вас уже знают, что я активно снимаю и запускаю онлайн тренинги в хорошем качестве. Местами даже отличном. У этого подхода одни плюсы для студентов – картинка сочная, звук четкий, монтаж хороший. Ведь снимаем с двух камер в 4К, плюс отдельно пишем звук. Вы уже догадываетесь, куда я веду? Верно. К тому, что это занимает просто неприличные объемы на жестких дисках.

Вот для примера всего один тренинг – в папке лежат исходники, и обработанные видео, которые потом выкладываются на нашу образовательную платформу.

На моей рабочей станции (внутри) воткнуто уже 40 терабайт жесткими дисками, и еще 10 внешних дисков по 8 тб лежат вокруг меня алюминиевыми кирпичами. Хоть цена на внешние диски и вкусная, но вариант докупать эти диски и использовать их как бекапы в больших количествах вызывает некоторые сомнения.

И сомнения эти связаны с ценой. Допустим, мне надо делать бекапы на 100 терабайт. Давайте посчитаем. Lacie 12 big с raid 5 будет мне стоить с доставкой около 400 тысяч. Неприлично сразу такие деньги выдавать.

Перед новым годом народ мне предлагал варианты собрать свой массив из сервера в отставке и 10-12 дисков. Но диски по 10тб стоят 20 тысяч, то есть 100 терабайт дисками мне встанут в 200 штук. Тоже больно. А если докупить для raid 5 еще диска 2-3, то будет еще больнее. К тому же серверное железо не оборудовано молошумящими вентиляторами.

Так вот я ходил, бродил и снова открыл для себя стримеры. По мне – так идеальное решение для хранения больших объемов данных. Давайте расскажу о ходе моих мыслей.

Смотрите, что у нас есть на рынке. Есть стандарты записи LTO – это разные поколения стримерных форматов. Например, LTO-7 позволяет писать на один картридж 6 терабайт на скорости 300 мегабайт в секунду. Жирно, согласись? Но это поколение сейчас достаточно много стоит, а мы же помним, что я не еврей, но деньги считаю.

Я остановился на LTO-5, причем устройство (привод) я взял себе внешнее, просто потому что оно стоит сейчас даже дешевле внутренних дисков. На ебее привод мне обошелся в 399 долларов, или 26 тысяч рублей. К нему еще нужен SAS контроллер, и их на ебее просто навалом – докладываем еще 50 баксов, и еще один полтинник за доставку.

Вы спросите меня: так, ты заплатил пол тысячи долларов, а места не купил вообще? Да, отвечу вам я, еще надо покупать картриджи. Но хитрый изворотливый ум московского сисадмина позволяет ему иногда продавать излишки картриджей на авито, что позволяет мне купить 20 новых картриджей за 15 тысяч рублей.

Мой стример и картридж. Часы для масштаба.

20 картриджей – это 30 терабайт без сжатия, или 60 с компрессией. Чуете?

Если взять стоимость 100 терабайт, то у нас получается usd 500 за привод, карту и доставку, и 50 тысяч за картриджи объемом на 100 тб без компрессии. То есть на больших объемах данных цена сразу получается ниже в два с копейками раза. А если данных будет 200-300 тб, то там еще вкуснее.

Теперь как это работает по факту. Настолько просто, что я снова возрадовался. Я воткнул карту в PCI слот, кабель воткнул в привод, туда же – питание, вставил картридж, и простую софтину, которая монтирует привод как еще один логический диск.

Потом – хоть через проводник работай, хоть через far, хоть через софт бекапа.

Реальная скорость работы отличается от заявленных терабайта в час, обычную папку с файлами копирует по 500 гиг в час примерно. Так же и считывает – можно с устройства даже кино смотреть, не копируя на диск. Да, выше скорость доступа – надо перемотать ленту. Да, шумит – но драйв выключается. НО! Есть самые главные фишки!

  1. Стандарт LTO рассчитан на хранение данных по 30 лет, а это уже совсем не жесткие диски. Плюс зажита от электромагнитного излучения и прочее. То есть одну копию держим дома, втору в банковскую ячейку, и лежать оно будет по меркам тренингового рынка практически вечность. Две вечности.

2. Стандарт LTO прописан так – «чтение на три поколения назад». То есть, если я перейду на LTO-8, то все картриджи я прочитаю спокойно.

3. Картриджи можно покупать по мере необходимости, и хоть по одной штуке. Авито в помощь. На ебеее они по usd 20 за штуку.

4. Стандарт LTO-4 записывает без сжатия «всего» 800 гигабайт, но приводы на авито стоят по 12 тысяч, а картриджи можно найти по 500. То есть цена входа еще ниже.

5. Для «холодного» бекапа больших данных это вещь, я считаю. Да и по деньгам – крайне разумно.

Вот чем я хотел с вами сегодня поделиться. Штуку эту крайне рекомендую для мастеров продакшена, видео студий, коллег – тренеров и мастеров домашнего документального видео.

Что скажете?

3 thoughts on “Как я решил вопрос с бекапами больших объемов данных.

  1. Enotus`

    >20 картриджей – это 30 терабайт без сжатия, или 60 с компрессией. Чуете?
    Видео уже пожато и больше не сжимается.

    > Да и по деньгам – крайне разумно.
    DVD нормальный — дешевле должно быть, а если на десятилетия не нужно — тогда DVD дешевле и удобнее.

    Вообще показательный случай. Сначала пишем в 4к и хз каким качеством, получаем нереальный размеры и проблемы, а потом доблесно сражаемся с недостатком места путём покупки более ёмких устройств.
    Видео нормально перекодировать в h265 или типа того с нормальными параметрами — не пробовали? Этож видео для тренинга!

    Reply
    1. Филипп БогачевФилипп Богачев

      в 4к мы пишем с отличным качеством. в h265 для тренинга кодирую и так. DVD на 100 гиг — это сколько там на девятках — 12 дисков? а на терабайт 120? увольте, dvd летят так же,как и дискеты, я их в свое время много продал 🙂

      Reply
  2. Дмитрий К

    Хорошее решение !
    Есть данные большого размера, которые нужно хранить очень долго. Основная проблема любых «бытовых» носителей — дисков, флешек, карточек винчестеров… — в том, что маркетинг нацелен на короткий цикл жизни самих технологий — через 10 лет, с высокой степенью вероятности, нельзя будет прочитать современные флешки, оптич. диски, карты — не будет разъеиов, приводов, драйверов…
    Накопители на ленте вызывают скепсис и усмешки у «продвинутых» подростков и переростков. Но, на самом деле — это другой сегмент рынка — корпоративный и очень консервативный. Я, когда-то, имел дело с бэкапами
    На ленту — жужжит, конечно, громче, чем пишется на винт. Но если это работает тогда и там, где это не критично — то и пусть жужжит. Ленты не дорогие.
    Не задавался вопросом — живо ли это сейчас. Судя по Вашему опыту — технология продолжает переживать многие другие, более «модные» и «современные». Я думаю, что интерес к подобному прагматичному решению будет крайне низким среди Ваших читателей из-за внутреннего бессознательного страха показаться «динозавром» из прошлого века. Сейчас все хотят хвастаться самыми модными «инновационными» приобретениями…
    Спасибо за информацию. Обязательно изучу применимость к конкретно моим бэкапам.

    Reply

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *