10 гигабит дома "занедорого"

Сразу хочу огорчить решивших, что я делюсь рецептом взлома провайдера и хвастаюсь самым быстрым домашним Интернетом. Но нет, эта статья — всего лишь мой скромный опыт создания у себя дома 10-гигабитной локальной сетки из подручных средств.

После спонтанной покупки на распродаже 2,5-гигабитного свитча XikeStor SKS3200M-4GPY2XF, я заменил им стоявший ранее гигабитный вариант. Но полностью заменить не получилось, т.к. банально не хватило одного порта RJ-45 — у стоявшего ранее их было 8, а у нового всего 4 и два SFP+. SFP я дома не держал, так что пришлось временно подключить оба свитча, что меня мало устраивало — нет смысла плодить сущности и создавать мешанину из проводов и блоков питания.
Самое дешёвое решение — достать за бесценок б/у гигабитный SFP-модуль — я сразу же отсёк, как травмирующее мою гиковско-сисадминскую натуру (не для того я покупал быстрый свитч, чтобы эксплуатировать его на том же гигабите), и занялся выбором 10-гигабитного варианта. Претендент на подключение дома на такой скорости всего один — самосборный сервачок.

Рассматривал три варианта:
1 — Кабель прямого подключения «Direct Attach Cable (или Copper)» (DAC-cable, твинакс-кабель) + в сервер сетевую карту с SFP-портом
2 — Два оптических модуля SFP + готовый оптический кабель + в сервер сетевую карту с SFP-портом
3 — Один медный модуль SFP RJ-45 + обычная медная витая пара, правда Cat6 или выше + в сервер сетевую карту RJ-45

1 вариант выглядел самым логичным — цены на DAC-кабели начинаются примерно от 1000 рублей за метровый вариант, но мне надо заметно более длинный, метров 10, и при такой длине цены уже не такие бюджетные. К тому же это наименее универсальный вариант в плане замены оборудования или его перестановки. В итоге этот вариант быстро отмёл.
2 вариант «по фен-шую» — с оптикой. Оптические кабели стоят не дорого, но: 1 — необходимость сразу двух SFP-модулей и невозможность подключить сюда ничего другого (читай — меньшая универсальность) заставили отказаться и от этого варианта.
3 вариант подкупает своей универсальностью — к этому порту в случае необходимости можно подключить любое другое сетевое устройство с витой парой, к тому же выбор медной витой пары заметно шире — можно взять как готовую, так и самому потренироваться на обжатии кабелей высокой категории…

В итоге, взвесив все «за» и «против», остановился на 3 варианте. Поскольку мне было не срочно, то не торопясь просматривал подходящие варианты как на АлиЭкспресс, так и в локальных магазинах или барахолках типа «Авито». В результате были куплены:
1. Б/у серверная сетевая карта Ethernet Intel X540-T2 Dual RJ45 Ports 10Gbs
https://aliexpress.ru/item/1005006332627101.html
2. SFP+ трансивер 10GbE RJ45
https://aliexpress.ru/item/1005003290311396.html
3. Сетевые кабели UGREEN Cat8
https://aliexpress.ru/item/1005007085105672.html

1. Сетевая карта
Про её б/у-шность у продавца в описании нет ни слова, но я то знал заранее ;-)
Информация о контроллере на сайте Intel:
ark.intel.com/content/www/us/en/ark/products/58954/intel-ethernet-converged-network-adapter-x540-t2.html
Коротко:
— два 10GbE/1GbE/100Mb порта RJ-45
— PCIe x8 v2.1
— год выпуска 2012
— драйвера под Windows 7-11, Windows Server 2008-2022, Linux, FreeBSD, VMware…
Предложений на АлиЭкспрессе много, конкретно это выбрал из-за достаточно большого для такого специфического товара количества продаж и высокого рейтинга. Если смотреть фото покупателей из отзывов, то можно заметить, что сетевые карты отличаются друг от друга даже в одном лоте. Объяснение простое — сетевухи из б/у-шных серверов. Я за свою отдал 1097 руб., новая такая стоила каких-то заоблачных денег, да и сейчас в магазинах за неё просят минимум на порядок больше.
Карта упакована в защитный блистер. Этикетка на нём:
Сама плата:
Два порта RJ-45:
Конкретно мне досталась карта из сервера китайского бренда Inspur, дата производства — 2016 год.
Для установки требуется разъём PCIe аж x8. Такой «большой» нужен, т.к. пропускная способность PCIe второй версии — 4 гигабит/с на x1, а у сетевой карты два 10-гигабитных порта. В настольных компьютерах такой встречается не часто, как правило, единственный подходящий — x16 занят видеокартой. Но т.к. я планировал установить её в сервер, то дискретной видюхи в нём нет и x16 на материнке как раз свободен.

2. SFP+ трансивер
Очень хотел найти такой, который бы поддерживал скорости не только 1 и 10 гигабит, но и промежуточные «новые» стандарты — 2.5 и 5. В отзывах покупателей натыкался, что конкретно эта модель их поддерживает.
Этот трансивер видел в продаже у многих продавцов, у этого взял по той же причине — достаточно большого для такого специфического товара количества продаж и высокого рейтинга, хотя были и немного более дешёвые предложения. 10 гигабит по витой паре итак не самое популярное решение, а уж с поддержкой режимов 2.5 и 5 и подавно. Б/у таких пока ещё не бывает, так что за свои хотелки пришлось выложить аж 2435 руб.
На выбор предлагаются модули, прошитые под любые Vendor-Lock.
Прислали упакованным в безымянный пакетик:
Сам модуль закутан в толстый слой вспененного полиэтилена и обмотан скотчем:
Внешний вид:
RJ-45:

3. Сетевые кабели UGREEN Cat8
Такая высокая категория для 10 гигабит не нужна, достаточно и 6 при длине кабеля до 55 метров или 6a — до 100 метров. Но на прошедшей в августе распродаже «на миллион» всплыл этот лот. Зашёл чисто из любопытства и удивился подозрительно низкой цене за такие кабели, но UGREEN вполне приличная компания, так что причин усомниться в достоверности информации у меня не было. На выбор предлагались варианты длиной от 0,5 до 20 метров и категории 6 или 8. Заказал парочку — 5 и 15 метров, т.к. у них была самая низкая цена за метр длины. Через час зашёл повторно и увидел, что пропал вариант 10 метров. А меньше, чем за сутки остался только 0,5м Cat6. Подумал, что надо было брать больше…
Сейчас по данной ссылке товар закончился, а недавно предлагали купить обжималку — даже UGREEN пользуется подменой товара у раскрученного лота, чтобы рейтинг зря не пропадал. Нашёл парочку альтернативных ссылок:
https://aliexpress.ru/item/1005005852280891.html
https://aliexpress.ru/item/4001219267343.html
Упаковка:
Её содержимое:
Рекламная макулатура — это понятно, а вот содержимое пакетика удивило:
До сих пор не встречал, чтобы в комплекте с сетевыми кабелям шёл крепёж. Как и не встречал, чтобы разъёмы витай пары были защищены специальными колпачками:
Маркировка кабеля:
Категория — 8, тип — U/FTP, что означает, что каждая отдельная пара экранирована фольгой для защиты от перекрёстных помех, но общий экран отсутствует. Наглядно показано на данной рекламной картинке:
Кабель плоский и достаточно гибкий — при покупке думал, что будет жёстче.

Скорости проверял на работе, где в локальной сети есть другое оборудование 10GbE.

Начал с сетевой карты. Опозналась в компьютере нормально, после установки драйвера появились два новых сетевых интерфейса:

Тест первый.
15-метровым кабелем UGREEN подключил к свободному 10-гигабитному порту в сервере HP Proliant с сетевой картой HP Ethernet 10Gb 2-port 561FLR-T Adapter. Линк сразу установился на ожидаемых 10 гигабитах.
Скорости в iPerf в 1, 5 и 10 параллельных потоков:
Придраться можно разве что к скорости в 1 поток — до 10 гигабит почему-то сильно не дотягивает.
А теперь о том, о чём умалчивает спецификация в базе Intel ARK — сетевой чип явно не из холодных, большой радиатор на нём стоит не просто так. При работе разогревается так, что дотрагиваться до него больно. Как смог подлез с термокамерой:
55 градусов на плате, правда в корпусе fulltower со снятой боковой стенкой. Для работы требуется хороший обдув — что нормально для сервера, может стать проблемой в десктопе.

Тест второй.
Устанавливаю SFP модуль в свитч XikeStor:
Тем же кабелем UGREEN подключаю к нему компьютер из первого теста. Модуль опознался, линк поднялся на 10 гигабитах:
Второй SFP порт DAC-кабелем подключаю к другому свитчу:
Опять запускаю iPerf до сервера в сети в 1, 5 и 10 параллельных потоков:
Скорость процентов на 20 ниже значений, типичных для 10 гигабит, хотя и данный результат совсем неплох.
В отзывах читал, что данные модули греются заметно меньше, чем «оригинальные», при этом не конкретизируя, какие оригинальные имеются в виду. Поскольку потребление свитча не большое, то смог рассчитать потребляемую модулем мощность.
1 — свитч без SFP-модуля
2 — свитч с подключенным модулем
3 — свитч с модулем и подключенным к нему кабелем Ethernet
4 — свитч с подключенными модулем и DAC-кабелем при запущенном iPerf
Итого получается примерно 2,5 Вт. С одной стороны это вроде и не много, но с другой — заметно больше, чем требуется для DAC-кабеля. И модуль всё равно достаточно сильно нагревается.

Для проверки совместимости с разным сетевым оборудованием, попробовал подключать его к Zyxel XGS1250-12 и сетевой карте HP Ethernet 10Gb 562SFP+ Adapter. Проблем в обоих случаях не возникло.

Тест третий.
Проверка поддержки «промежуточных» значений скоростей. 5 гигабитного оборудования у меня нет, а вот 2.5 имеется «в ассортименте». К модулю, установленному в свитч XikeStor подключил компьютер с 2.5 GbE и опять запустил iPerf в 1, 5 и 10 параллельных потоков:
Скорость явно ограничена потолком для 2.5-гигабитной сетевухи.

Вместо выводов
Всё купленное мною оборудование нормально работает и соответствует заявленным параметрам. Хотя, зараза, сильно греется.

Практическая ценность данного «апгрейда»
Вообще, для NAS на HDD без RAID, она заканчивается на 2.5 GbE, да и то разницу лучше всего видно с секундомером в руках. На 10 GbE скорость заметно раньше упрётся в производительность дисковой подсистемы, или, что заметно обиднее, в тормозной SMB-CIFS протокол. Чтобы получить ускорение, надо в NAS использовать SSD, но до такого я дома ещё не дорос. Так что единственным практическим применением стала установка на сервер OpenSpeedTest. Да и то сделать так, как на работе:
я не могу, пока второй 10-гигабитный порт свитча свободен, так что дома только так, зато можно одновременно с 4 устройств: