Покупка двух SAS HDD с ёмкостью 6ТБ на taobao

Всем привет. Достаточно давно у меня была мысль сделать быструю самодельную хранилочку на использовав возможности ОС ZFS и нормальное железо. В итоге, взвесив все за и против, погоняв тестовую систему, я решился на покупку серверных HDD с интерфейсом SAS (б/у), с таобао. Покупка выглядела достаточно рискованным мероприятием (цена, пробег HDD, доставка, гемор с SAS). По итогу, заказанные через посредника диски доехали целыми, и находились в нормально состоянии.


Сегодня я расскажу чисто про покупку б/у HDD как важного компонента самодельной сетевой СХД, способной переваривать 1ГБайт/c как по чтению так и по записи (будут читы в виде RAM и SSD), при этом обеспечивая надёжное хранение данных. О ней я планирую написать позже.
HDD до сих пор ещё востребованы, когда речь идёт о хранении больших объёмов данных, и о стоимости такого хранения. Плюс для долговременного хранения HDD подходят лучше чем SSD.

Предпосылки к покупке, посредник, и итоговая стоимость

Касаемо интерфейса SAS, HDD с таким интерфейсом были выбраны намеренно, так как:
1) Они ощутимо дешевле на taobao чем аналоги с SATA интерфейсом, и больше вариантов есть в наличии.
2) У меня уже был SAS контроллер LSI 9267-8i, вот обзор на него

Механически, серверные SATA HDD у того же Seagate не отличаются от SAS (если говорим например про серию Seagate Enterprise Capacity 3.5 v5), но кушают слегка поменьше.

Диски с интерфейсом SATA гораздо удобнее и предпочтительнее для домашнего использования, как минимум, из-за того что в любой современной материнской плате есть встроенный SATA контроллер, а это простота подключения, и низкое потребление. SAS контроллер жрёт не мало, да и сами HDD с интерфейсом SAS кушают чуть больше чем аналогичные с SATA интерфейсом. От сюда и цена на б/у накопители с интерфейсом SATA выше, особенно с учётом того что не все понимают чем SAS отличается от SATA, и как подключать первые, да и не удобно это.
Сюда же докину что те же RAID/HBA контроллеры от LSI достаточно горячие ребята, и поэтому им нужно активное охлаждение, т.е. их нужно обдувать, да и спроектированы они были именно под обдув в корпусе сервера. Без обдува, тот же LSI 9267-8i раскаляется выше 80 градусов буквально через 10 минут работы, даже без нагрузки на него, а такая температура ни к чему хорошему не приведёт.
Короче говоря, цена решила, и я взял именно SAS вариант, осознавая что я беру. Новые HDD с ёмкостью 4-6ТБ, с интерфейсом SATA слишком дорогие для меня, если рассматривать нормальные модели. Брать накопители меньшего объёма я не вижу смысла.

У продавца на тао периодически меняются модели HDD, которые есть в наличии. Каких то вариантов видимо больше, и они висят достаточно долго. Изначально, я присматривался к наиболее дешёвым 3ТБ вариантам SAS HDD (по стоимости 1ГБ), но пока я думал их распродали, и там осталось одно старьё (ёмкость пластины менее 1ТБ), потом решил таки брать сразу 6ТБ варианты, выбирая между Seagate Enterprise Capacity 3.5 v4 и Seagate Enterprise Capacity 3.5 v5.
Серия Seagate Enterprise Capacity 3.5 v5 посвежее, те HDD что были у продавца, 2016 г.в. По спецификациям, вариант v5 получше чем v4, и наработка у экземпляров в часах будет скорее всего плюс минус одинаковая, не смотря на то что v4 более древние. Решил взять именно v5 версию, немного доплатив.

Вот скрин с итоговой стоимостью посылки от посредника:

На скрине ещё можно лицезреть стоимость доставки по Китаю (1.8$). Это стоимость доставки до склада посредника, и так как все три товара ехали от разных продавцов, взяли деньги за неё три раза.

По умолчанию, посредник yoybuy ещё предлагает страховку отправления, от которой можно отказаться. В моём случае, страховка кажется стоила в районе 8$, но я решил рискнуть и отправить заказ без неё, ведь сумма за товары и так вышла немаленькая за б/у HDD, и покупка уже и так была на грани по разумности сделки (по моему мнению)+ не здесь же не дешёвая доставка посылки с весом около 2кг. Но в целом, такая покупка на мой взгляд оправдана (точнее риск отказа бэушного HDD), если посмотреть цены на новые HDD аналогичного класса и объёма.





Стоимость новых HDD из местных магазинов

Для сравнения, новый, аналогичный SATA HDD Seagate Exos 7E10 на 6ТБ, в днс стоит 20000р штука.
Это серверный HDD, рассчитанный на долговременные нагрузки, с типом записи CMR.
Гарантия на такой HDD всего год, и не факт что его примут по гарантии в случае отказа (судя по отзывам). 40000р за два HDD с объёмом 6ТБ, и годом мутной гарантии, как то дороговато… Мутность гарантии обусловлена видимо тем, что это всё не официальные поставки, и гарантийные риски лежат полностью на магазине.
Есть там и более дешёвые варианты на 6ТБ, но если покопать их спеки, сразу видно что они имеют слабую механику и рассчитаны на небольшие нагрузки, в основном по видео наблюдению (особо печальны в этом плане варианты от Toshiba), да и в большинстве своём это варианты с типом записи SMR. Например такой за 15000р.
Вот скрин из спецификаций на HDD из серии Barracuda:
HDD рассчитан не небольшую нагрузку в 55ТБ/год, технология записи SMR. Обычно HDD этой серии используется просто в рабочих или домашних ПК. Возможно и нормальный бы был вариант под файловое хранилище, но не знаю насколько именно такой SMR диск надёжен, плюс он явно будет медленным по записи. Но зато кушает раза 2 меньше чем серверные варианты (правда и диск у нас 5400RPM), и останавливает шпиндель при неактивности диска. Значение MTBF даже не приводится.
Когда смотрел 4ТБ варианты в днс (месяц назад, сейчас они ещё подорожали), попадались вот такие варианты:
Более менее вариант WD Blue, если верить описанию что там CMR, но даже в 4ТБ версии не дешёвое удовольствие, хотя если смотреть сколько сейчас стоят 1ТБ модели, то это ещё нормальный вариант. Есть и 6ТБ вариант от WD, но отзывы что то не очень да и цена такая же как у SMR-ного Seagate, что подозрительно (спеки лень было искать, где это точно прописано, в плане технологии записи).

Распаковка

Приехал заказ неожиданно быстро, не смотря на праздники. Отправляли правда чуть больше недели. В пути заказ был недели полторы, хотя я выбирал самый дешёвый вид доставки. Привёз посылку курьер СДЭКа.
Упаковали всё отлично. Каждый HDD был в отдельном защитном боксе.
Память и сетевуха:
Боксы с HDD:

А вот и сами HDD:
Корпуса немного зацарапанные, скорее всего продавец с тао хранил их не очень бережно.
Дата производства — осень 2016. Модель та же что и на скриншоте продавца- ST6000NM0095, серия Seagate Enterprise Capacity 3.5 v5. Кстати, HDD есть и у более мелких продавцов, но там надо предварительно писать посреднику что бы он узнал точно ли есть HDD в наличии (либо самому стучать китайцам в QQ, но это такое себе занятие), так как часто карточка висит, а в наличии у продавца дисков нет.

Цвета текстолита плат немного различаются.
В целом, думаю криминала в этом нет, учитывая что диски из разных партий (месяц выпуска у них разный).
Платы проверять на окислы пока не стал, так как винты под пломбами, и хотелось некоторое время погонять винчестеры. Конечно, вряд ли бы получилось стрясти хоть какую то компенсацию с продавца через посредника, если бы диск приехал не рабочим или отказал почти сразу же после установки в П, но мало ли.

Спецификации модели ST6000NM0095

Перед тестами, дам ссылку на информацию по продуктам линейки. Есть такой же документ по SATA версии, там информация дана несколько в более развёрнутом виде: ссылка
6ТБ версии имеют 10 головок и 5 блинов. Более удобно информация приведена в даташите. В даташите, информация о ST6000NM0095 находится ближе к концу документа, вот её скрин:
Кушает один диск в среднем 9.2Вт. Не корректируемые ошибки возникают у таких HDD на порядок ниже чем в десктопных вариантах, а именно, один сектор может содержать ошибку, за 10 в 15 степени прочитанных бит. У того же WD Blue это значение равно 10 в 14 степени.

Позже, линейку Seagate Enterprise Capacity 3.5 v5 видимо переименовали в Exos 7E8. Есть отдельный даташит с теми же данными под модель ST6000NM0095 но уже в рамках Exos 7E8.

Если взглянуть на информацию по предыдущей линейке v4, то видно что у неё ниже плотность записи, поэтому там 6 блинов и 12 головок, что по идее несёт большую вероятность отказа.

Тесты

Я решил погонять диски сначала в Windows 10, в том числе используя программу Victoria.
Перед запуском, пару часов пришлось бороться с виндой, так как она упорно пыталась восстановиться и ребутила компьютер по циклу, после того как я подключал HDD к контроллеру, точнее сконфигурированные HDD.
Если HDD не были подключены к контроллеру, либо пока они не были сконфигурированы как JBOD, проблем с запуском Windows не было. Вот информация о HDD из MSM, когда они ещё не сконфигурированы:
Когда первый раз выставил один из HDD как JBOD в программе MSM, то сразу произошёл BSOD, и потом уже винда просто не грузилась. Я даже успел обновить BIOS материнской платы через EFI Shell материнки, в котором оказался не верно прописанный файл запуска прошивки, на который идёт ссылка из startup.nsh. Обновил в ручную. После обновления BIOS картина немного изменилась, теперь старт ОС был почти рядом, но теперь при старте всегда был BSOD, вместо попыток восстановления. Плюс корректно заработал нижний x16 слот, разведённый как gen3 x4 (всего x16 слотов 3шт), он мне нужен для установки сетевухи, так как карт расширения много. Не зря шил в общем).
По нему была загуглена информация, и было выяснено что проблема известная, и нужно поставить другую версию драйвера, а не ту что подсунула Windows 10. После того как я поставил этот драйвер, ОС начала грузиться корректно (контролер под ним определяется как LSI, а ранее был определён как Avago). Видимо изначально поставила более свежую версию драйвера (не зафиксировал её), но при этом она не ругалась когда я ставил версию драйвера что представлена по ссылке выше, и не снесла его при очередном подключении интернета.

После того как проблема с драйвером была решена, виктория смогла кое что прочитать из SMART, откуда видно что время наработки соответствует примерно 6 годам для обоих HDD (~55000 часов).
Я провёл тестирование, одновременное тестирование по чтению, для двух HDD, которое заняло где то 8 часов. Запускал я с разницей менее минуты, но один из HDD отстал где то на 7%, по времени чтения от более быстрого оппонента (т.е почти на 400ГБ по прочитанным данным).

Тесты в CDM:

Тесты в ATTO Disk Benchmark с разной глубиной очереди:

Запись на HDD, при работе в паре с быстрым SSD:
Чтение с HDD на SSD (по отдельности).

При работе, диски шумят не сильно, нагрев умеренный, но дополнительное охлаждение не помешало бы. В простое HDD издают достаточно высокочастотный и давящий звук. Понятно что диски серверные, и низкая шумность там не на первом месте, просто делюсь фактом. Сидеть рядом с системником где «поют» такие диски мягко говоря не комфортно, голова реально может болеть от этого, даже при недолгом нахождении рядом.
В простое, шпиндель у дисков не останавливается автоматически по прошествии даже длительного времени. Не знаю как ведут себя SATA варианты из этой серии, судя по всему так же, хотя механизм энергосбережения должен быть как в SAS так и в SATA версии.

Выводы

Покупая серверные SAS диски нужно понимать что при их работе могут вылезти разные моменты с теми же драйверами контроллера, потребуется дополнительное охлаждение контроллера, и по итогу ещё придётся потратиться на электричество, если всё это будет непрерывно работать. Плюс это далеко не тихие HDD (причём не приятный вой именно в простое).
Говоря про сами HDD, то работают они отлично, несмотря на значительное время наработки. Надеюсь они смогут отработать ещё хотя бы столько же сколько уже отработали в каком то сервере или СХД.
Касаемо стоимости, стоят они конечно не мало, если учитывать сколько они уже отработали, но с оглядкой на стоимость новых HDD из магазинов в РФ, покупка выглядит нормальным вариантом, если нужно много места для долговременного и надёжного хранения данных.