?

Log in

No account? Create an account

Previous Entry | Next Entry

Хранение данных и backup'ы

Осыпался тут очередной винт - 2TB WD
Уже третий HDD большой емкости, за последние несколько лет. Последние два (тоже WD) проработали меньше года каждый, еще раньше (LACIE 1TB, с четырьмя HDD Seagate по 250GB) - год с небольшим. Во всех случаях осмысленно использовался RAID0, т.к. емкость была всё же важнее. Предыдущие диски сыпались постепенно, так что успевал все скопировать. Условия работы очень даже терпимые - все накопители стояли на столе неподвижно. А в последнем боксе еще и индикатор температуры был - она была низкой.

Пообщался со специалистами насчёт последнего винта - проблема, как минимум, с одной головкой, восстановление информации примерно эквивалентно стоимости нового винта, неизвестно сколько восстановится и плюс еще нужен будет второй аналогичный винт, куда посекторно будет всё писаться.
По своей статистике они не рекомендовали WD и Seagate (была перечислена масса проблем, в т.ч. деградация головок, перегрев контроллеров и пр.) и рекомендовали Hitachi и Samsung. Я специально переспросил, не идёт ли речь о конкретных моделях. Нет - разделение именно по производителям. Впрочем, статистика эта, надо полагать, не вполне корректная. Ведь исправные винты им не приносят, а WD и Seagate просто наиболее распространены.

Решил не заморачиваться восстановлением - не настолько ценная информация. Но вопрос, вообще говоря, шире. Есть устойчивое ощущение, что не существует более-менее доступных решений для надежного хранения больших объемов данных.

Какие, собственно, есть варианты?

- DVD, BD и другие вариации на тему оптики - слишком мало влезает на один диск.

- Стримеры. Раньше, кстати, это был вполне себе вариант. Я сам довольно долго использовал Arvid 1010, 1020, а затем и нормальный стример.
Однако, с увеличением ёмкости дисков ленточные накопители перешли в разряд совсем уж неадекватных по деньгами.

Изучение вопроса показало следующее:

Любительские решения отпадают из-за малой емкости (скажем, хранение на miniDV - порядка 15-20 GB на часовую кассету).

Разумные, по соотношению цена-емкость, решения - в районе 160gb (честная емкость без сжатия, на одной кассете. В названии и прайсах её обычно умножают на два).
Это, к примеру,  HP StorageWorks DAT 320 USB2.0 Tape Drive, Ext ( AJ825A ) - за 35...40 тыс.руб.
Одна кассета к нему (C8011A) стоит 1000-1500руб.

Или другой вариант - Quantum DLT-V4, SATA (160гб) - 33 тыс руб.

Возникает вопрос - имеет ли смысл стример такой емкости при общей емкости винтов измеряемой единицами терабайт? По-моему, не особо.
Стримеры же с емкостью в 1.5TB на кассету стоят совсем неразумных денег - порядка 120-150 тыс.р. (в т.ч. и кассеты для них - порядка 1500-3000р.).
Тут еще надо учитывать, что на кассетах можно только бэкапы хранить, в то время как на внешних дисках можно работать, искать фотографии, монтировать видео и т.д.

- Остаются HDD, причём во внешнем варианте - подключаемом по более-менее быстрому интерфейсу (USB/FireWire/SATA). Сетевые можно рассматривать только для бэкапов, а хотелось бы с устройством еще и работать.

И здесь опять возникает проблема надёжности - вероятность того, что винт сдохнет в течении единиц лет я уже оцениваю практически как 100%. Соответственно, либо надо ставить пару устройств и ежесуточно копировать изменения с одного на другое, либо RAID с зеркалированием.
Вариант с копированием не очень радует - связки девайсов, настройка софта, ухаживать надо за всем этим делом.
Более интересен RAID. Допустим, RAID1. В этом случае данные пишутся параллельно на два винта в устройстве. Сначала меня напугали двумя ньюансами:

1) Вовсе не факт, что вытащенный отдельно диск можно будет прочесть.
2) Распространены ситуации, когда после замены одного из дисков, всё это дело рушится, или новый диск не воспринимается системой (хотя он той же модели, что и первый). Более того, говорят, случается, что простое вытаскивание и вставка обратно того же самого диска уже приводит к неработоспособности системы.

После некоторых размышлений был выбран WD My Book Studio Edition II  4TB (даже не то, чтобы выбран - вариантов в Питере было не так уж много). Он  с интерфейсами FireWire (400/800), USB2.0 и eSATA. Кстати, внутри стоят два WD20EADS - точно таких же, как тот, который последним сдох :-) Радует, что в нём нет вентилятора - шумит не так сильно. Греется примерно также, как предыдущие с вентилятором

Я его разметил под RAID1, т.е. полезная емкость получилась 2TB. Для проверки записал на него мегабайт сто, выключил, вытащил один из двух дисков (гарантия, к счастью, от этой операции не теряется), убедился в трёх вещах:

а) Если этот диск воткнуть отдельно - он видится совершенно нормально и все что записано можно списать.
б) С одним диском WD My Book даже не стартует
в) Если воткнуть обратно - все снова работает, без видимых проблем.

Попробовал сначала через USB, как и прежние. Работать работает конечно, но в итоге подключил через eSATA (купив PCMCIA карточку eSATA-PCMCIA).

На этом можно поставить многоточие (до очередного сдыхания одного из дисков). Гарантия, впрочем, 5 лет :-)

Отдельный вопрос, который меня давно волнует в связи со всеми этими внешними накопителями - их непонятная манера постоянно засыпать через несколько минут неактивности (что, полагаю, очень неблагоприятно сказывается на ресурсе).
Чего я только не делал. Все настройки в Win XP, потом в Vista и наконец в текущей Win7 - естественно крутил. Когда у меня работало всё через USB, я подозревал USB hub (DLINK). Подозрение было снято после того как а) Выяснилось, что тоже самое происходит если воткнуть накопительно прямо в ноут б) С переходом на eSATA столкнулся с такой же, в точности, проблемой.
Чудеса какие-то.

Comments

( 27 comments — Leave a comment )
volger
Jul. 14th, 2010 03:14 pm (UTC)
А какую именно температуру показывали в среднем умершие винчестеры? На них какой-нибудь вентилятор в корпусе дул? Я для себя как-то пальцем ткнув в небо вывел, что для винчестера температурный датчик не должен показывать больше 45 градусов.
С 4мя винчестерами можно наверное попробовать raid10.
А как насчет наблюдения за S.M.A.R.T, плюс иногда прогон через mhdd, по-крайней мере, наступление части проблем можно будет предвидеть.
cr_it
Jul. 14th, 2010 04:15 pm (UTC)
Индикатор был только у последнего. До 40 температура не доходила. Термопара была прижата к металлу корпуса винта.
Да, он был с вентилятором (но т.к. температура была низкой, включался он редко).
Предыдущие тоже были с вентиляторами (автоматическими - часто жужжали).
Нет - не наблюдал. А под win есть для этого софт? Регулярно загружаться в DOS, чтобы что-то проверить - тупо лень :)
rdia
Jul. 14th, 2010 04:31 pm (UTC)
Как то у вас сурово очень летят. Наверное вы их не только для backupов используете.

У меня последний раз винт вылетал 10 лет назад, по электронике, до этого он проработал лет 8-мь. Ноутбук, с которого я сейчас пишу вообще работает лет 6-ть с одним и тем же винчестером. Согласно SMART никаких проблем нет, только старость. Винт Hitachi.

Может быть ноутбучные винты будут лучше? Или может быть нагрузку на них уменьшить, разместив информацию с одного 2Tb на 2-х винтах 1Tb?
cr_it
Jul. 14th, 2010 05:25 pm (UTC)
Конечно не только. Я на них видео монтировал, фотки обрабатывал и т.д. В том и смысл.
rdia
Jul. 14th, 2010 06:16 pm (UTC)
А вариант быстрого SAS винчестера в качестве основного рабочего и медленные SATA как основное хранилище, на которое уже пишутся результаты?
cr_it
Jul. 14th, 2010 06:24 pm (UTC)
Дык зачем? Меня полностью устраивает скорость HDD подключенного по USB (и тем более по eSATA).
slider
Jul. 14th, 2010 04:43 pm (UTC)
WD по статистике не очень. Лучше всего ведут себя Hitachi.
http://storelab.ru/sravnenie-nadezhnosti-hdd.htm
aamonster
Jul. 14th, 2010 04:54 pm (UTC)
У самого WD зелёной серии с той же проблемой (засыпает - половину ресурса старт-стопа за год или меньше выработал).
Уже бродит мысль поступить с ним так же, как когда-то с hitachi dk23da ноутбучным, раздражавшим меня щёлканьем (тоже засыпал) - запустить прогу, которая будет периодически к нему обращаться.

И склоняюсь к мысли об осмысленности сетевого бэкапа...
aamonster
Jul. 14th, 2010 07:39 pm (UTC)
Ага, у тех Хитачи аналогично было. Помирать они не помирали, но негромкое клацанье действовло, как капли воды, регулярно падающие на темя...
Решалось регулярным чтением случайного сектора с диска (чтобы кэш не помогал)
cr_it
Jul. 14th, 2010 05:43 pm (UTC)
http://nosleephd.codeplex.com/releases/view/25489

Правда, смутно помню что с позапрошлым винтом подобная прога как-то странно работала. Т.е. писать-писала, причем часто, а он все равно засыпал. Поставил. Посмотрим.
aamonster
Jul. 14th, 2010 07:41 pm (UTC)
Кэш? Почему и говорю - надо читать, а не писать. Причём из случайных мест.
superelectronic
Jul. 14th, 2010 04:56 pm (UTC)
Именно поэтому в новой квартире развел гигабитный эзернет, файлы буду хранить только на raid1. Скорее всего воткну в системник с линукс и программно зеркалирую. Проще раз в год докупать по два винта, чем маяться с восстановлением. Причем старые винты можно под хлам типа торрентов выделять.
one_in
Jul. 14th, 2010 05:23 pm (UTC)
Может быть, стоит купить для важного дела более качественные HDD? Сдохли WD и Seagate — выбери другой. Когда я выбирал прошлой осенью, специалисты, мнению которых я очень доверяю, по статистике рекомендовали Hitachi.

Я, например, дома на основном рабочем компьютере собрал RAID5 на аппаратном контроллере и качественных больших дисках. Позволяется делать замену дисков без выключения сервера, но ещё ни разу не пришлось, очень доволен. И скорость чтения больших файлов радует — 300 мегабайт в секунду запросто получается.
Да, это дорого, больше $1000 за одну только дисковую подсистему. Но мне нервы дороже, и моя информация тоже.
cr_it
Jul. 14th, 2010 05:29 pm (UTC)
А из чего выбирать? Где ты видишь, чтобы продавались боксы в которые можно было бы вставить любые винты (т.е. продавались без винтов) и сделать RAID1 ? При этом с внешним USB (только лишь eSATA не особо радует. Я уже сейчас наблюдаю с ним проблемы).
Вариант - "взять отдельный комп, поставить туда Linux, RAID контроллер ..." не предлагать :) Мне всё же накопитель нужен, а не еще один комп.
one_in
Jul. 14th, 2010 05:34 pm (UTC)
Ну вот у меня именно комп, извини. :-)
Причём, не просто абы какой, а с правильными корзинами для HDD — с виброзащитой, с установкой дисков не вплотную, и с правильно направленными воздушными потоками для их охлаждения. Это всё тоже немаловажно для продления срока их жизни и уменьшения вероятности преждевременной смерти.
Да, это громоздко, но надёжность прежде всего.
halfaxle
Jul. 14th, 2010 06:39 pm (UTC)
Я стараюсь избегать предельных значений параметров винтов (емкость, количество блинов итп) и с некоторых пор не люблю рейды и внешние коробки. В простейшем случае - два одинаковых винта - рабочий и ежедневный бэкап. С постоянным контролем смарта и сиреной если что то там меняется.
easyjohn
Jul. 14th, 2010 08:06 pm (UTC)
доверять хранение данных внешнему копеечному боксу - плохой вариант.

хороший вариант - отдельная машина с 2-4 винтами. для дешевизны софтрейд и обязательно регулярные смарт селфтесты поверхностей.
cr_it
Jul. 14th, 2010 08:17 pm (UTC)
Насчёт копеечного бокса - это ты загнул:
http://shop.key.ru/shop/goods/25910/
Хотя, смотря какая у тебя з/п :)
easyjohn
Jul. 14th, 2010 10:15 pm (UTC)
это не зависит от ценника. все эти боксы - копеечные устройства, не смотря на то, что за 4-х дисковые просят около килобакса. там копеечный корпус, с негарантированным охлаждением, копеечный проц, вероятно не всегда справляющийся с потоком, копеечный софт, писанный индусами.
для сравнения, если ты посмотришь цену на самые дешевые системы хранения, где сохранность данных ставится основной целью, цена там будет минимум в 10 раз выше и не спроста.
простой вопрос - выполняет ли ли этот девайс фоновую проверку целостности данных на винтах.

по этому я не доверяю этим устройствам. простой глюк прошивки может оставить тебе без всех данных.

ЗЫ по ссылке цены нет.
cr_it
Jul. 15th, 2010 02:02 pm (UTC)
Ну естественно всё относительно и это не промышленное решение. Тем не менее из домашних - далеко не самое плохое и дешевое. Насчёт проца и софта - не замечал проблем пока что.

Странно, что тебе цена не показывается (наверное ip не опознается как питерский?) Короче стоит оно 20 тыс.р.
easyjohn
Jul. 15th, 2010 08:28 pm (UTC)
я нашел потом цену, в общем прайсе она есть, а в лоте не было, т.к. не было в наличии.
да, все эти девайсы по 20-40 т.р. это дешевка, там 60-80% стоимости - это стоимость винтов. качество остального очень сомнительное, на уровне китайских sata переходников. то есть оно может и будет работать, но я ему не доверяю.

эту коробку можно использовать для бэккапов, в том смысле, что если она помрет, то останется первоначальная копия. но хранить там единственную копию я бы не рискнул.

остальные вышеперечисленные недостатки так же остаются.
easyjohn
Jul. 15th, 2010 08:31 pm (UTC)
я понимаю, что ты уже заплатил денег, по этому ругать девайс не будешь.
но ответь на два два простых потребительских вопроса:
что ты будешь делать, когда:
- девайс умрет. скажем при неудачном включении он затрет диски мусором.

- когда место на этом кончится, и понадобится еще больше места.

если эти вопросы решены - то да, оно тебе подходит.
cr_it
Jul. 15th, 2010 09:17 pm (UTC)
Ну вообще-то я прекрасно ругаю и то, за что заплатил. Например в Nikon'e D90 меня выбешивает как криво там сделано видео по сравнению с Canon'ом :-)
Насчёт вопросов - то, что он затрёт оба диска мусором представляется мне надуманным - так можно про что угодно чего угодно сказать. Маловероятно.
Насчёт места - до сих пор этот вопрос решался безболезненно. Предыдущий накопитель постепенно дох, данные переписывались на новый ;)) Если не дох, то он просто переходил из рабочего в разряд "долговременный backup чего-нибудь". У меня вон лежат несколько одинаковых WD по 250гб с разными бэкапами.
easyjohn
Jul. 15th, 2010 09:36 pm (UTC)
э! я ж админ. я видел убитое зеркало минимум два раза. контроллер рейда отрабатывает корректно, и инфа на обоих дисках затирается синхронно.
никакой магии.

ну вот, а у меня домашняя помойка раньше была примерно на 200 гигов, и состояла из 6 разноколиберных винтов. сейчас, после наверно 4-6 плавных апгрейдов там 2 тер на 3 винтах. и при этом винты менялись последовательно, поштучно и данные мигрировали с одних на другие прозрачно для всего установленного софта. и в любой момент я могу добавить еще винт-два и получить на этом рейде еще место.
easyjohn
Jul. 14th, 2010 10:20 pm (UTC)
да, совсем забыл, с этими коробками вечная беда, когда место кончается (или подходит срок) с нее надо все списать (куда-то), что бы заменить винты. или покупать новую с большими винтами.
в условиях компа и софтрейда я могу наращивать рейд постепенно (например 5-ый можно добивать дисками расширяя на ходу объем), и проще дальше мигрировать на новые носители.
amavlyanov
Jul. 14th, 2010 09:00 pm (UTC)
Именно поэтому я года полтора как забил на бекапы и рейды и тупо держу два стораджа - один дома, другой на работе. А инфу синкаю через ноут. Не шибко удобно, зато надёжно...
( 27 comments — Leave a comment )