Интересен мой опыт создания торрент-сидбокса/сетевого хранилища на базе Raspberry Pi 4?
Вам под кат!
Моя мотивация
Где-то год назад решил поддержать раздачи
одного англоязычного приватного книжного трекера небольшим сидбоксом.
Я искал нечто производительное, малопотребляющее, бесшумное и мой взгляд пал на лежащую на столе плату RPI4. Решил построить сидбокс на ней.
Мне стало интересно, на сколько тысяч торрентов хватит ресурсов платы и как стабильно это всё будет работать.
Сидбокс работает успешно уже год, раздает 30+тыс файлов и не требует никакого обслуживания. Я решил повторить постройку ещё раз, задокументировав каждый шаг для вас. На этот раз описанная конструкция успешно поддерживает все раздачи раздела «Художественная литература» на рутрекере.
Зачем это вам?
Помимо сидбокса, данная конструкция может работать как торрентокачалка с функцией сетевого файлохранилища. Причем всё очень удобно: забросил по сети торрент-файл — получил в другой папке скачанный материал.
Необходимые материалы
1.Плата Raspberry Pi 4 с 2Гб оперативной памяти.
2.Флешка
Evtran 64G или любая аналогичная
3.
5TB USB 3.0 жесткий диск или любой подходящий.
4.
Преобразователь 12V -> 5V 3A.
5.Кабель
USB-A=>Type-C 25см
6.
Microsd карта.
7.Корпус, небольшой радиатор,
винты,
латунные стойки.
Питание платы
Для питания решил использовать 12В, как штатное напряжение моего сетевого оборудования.
С Али пришла вот такая симпатичная коробочка преобразователя 12V -> 5V 3А:
Снизу платы большой полигон:
Сверху виден чип преобразователя, дроссель, диод и конденсаторы. А так же предохранитель по входу:
Стабилизатор исправно отработал год, при этом абсолютно без нагрева. Рекомендую.
На плате RPI4 в цепи питания USB устройств есть защита по току, которая препятствует нормальной работе внешнего жесткого диска, и это нужно обойти. Самый простой путь — закоротить TP3 на пины питания USB:
Например вот так:
Чтобы не устроить пожар — следите чтобы у вас был где-то предохранитель по питанию.
У меня он в преобразователе питания. Я проверил его путём умышленного КЗ USB — надежно сработал.
По 12В система потребляет 8Вт. Из них 3Вт — плата с microsd c загруженной системой. А остальное — жесткий диск.
Накопители
Для системы я использовал карточку Samsung PRO Endurance Micro SD Card 32GB with Adapter MB-MJ32GA. За год система пережила 20+ умышленных срывов питания без завершения работы, но содержимое карты так и не повредилось.
Для хранения закачанных торрентов я использовал SMR диск Seagate Portable 5TB External Hard Drive HDD – USB 3.0. Выходит дешево и сердито. SMR диски оптимальны для преимущественных чтений — как раз мой случай.
Так как SMR диски очень не любят фрагментацию, я решил закачивать торренты на внешнюю флешку, а лишь когда они будут готовы — они будут перемещены автоматически на SMR диск. Таким образом будет обеспечиваться практически нулевая фрагментация SMR диска и он будет обеспечивать отличную производительность как на запись, так и на чтение.
Корпус
Мне попался новый-старый контроллер WiFi Cisco:
Потрошки были выброшены, а их место заняла конструкция. Использовал винты и стоечки 2,5мм. Пружиной прижал радиатор на термопасте к процессору:
Вид сзади:
Программная часть системы
Будет в спойлерах!
Установка и базовая настройка операционной системы
На странице
www.raspberrypi.com/software/ качаю
Imager и устанавливаю его.
Открываю Imager и выбираю:
*Operating System: RASPBERRY PI OS (32-BIT)
*Storage: Имя картридера с microSD картой в системе
Нажимаю WRITE и соглашаюсь, с предупреждением.
Когда процесс закончился я передергиваю картридер с картой в компьютере и нахожу новый диск с меткой boot размером 256Мб. Это диск e: если у вас диск другой, то внизу исправьте e вашу букву.
Нажимаю Win+R пишу cmd и Enter.
В командной строке пишy:
copy con e:\ssh
Нажимаем F6 и потом Enter
Увидел:
Скопировано файлов: 1.
когда система загрузится и увидит на карте файл с именем ssh, она автоматически включит SSH сервер, который будет нужен для доступа к системе.
Безопасно извлек картридер, достал из него карту и вставил в Raspberry Pi4
Подключил плату к проводной сети и питанию.
В справке роутера нашел свежевыданный IP-адрес:
И с помощью Putty по SSH подключился к плате. Логин pi, пароль raspberry
Первым делом изменяю пароль для пользователя pi с помощью passwd
Ввожу старый пароль (raspberry) и дважды желаемый новый пароль
Выключаю графическую оболочку, она мне не нужна, так я экономлю вычислительные ресурсы платы и электричество:
sudo raspi-config
Выбираю:1 System Options, потом S5 Boot/Auto Login, потом B1 Console
Устанавливаю имя системы:
sudo raspi-config
1 System Options -> S4 Hostname и устанавливаю hostname rpi4
После выбираю Finish, система перезагружается, переподключаюсь снова по SSH
Загружаю и обновляю пакеты
sudo apt update
sudo apt upgrade
Устанавливаю transmission-daemon(торрент клиент) и samba(файловый сервер для Windows):
sudo apt-get install transmission-daemon
sudo apt-get install samba samba-common-bin
Установка и настройка дисков
Подключаю жесткий диск и флешку к USB 3.0 портам
Идентифицирую диски:
sudo parted
print devices
/dev/sda (5001GB)
/dev/sdb (63.9GB)
/dev/mmcblk0 (32.0GB)
Выхожу из parted написав quit
У меня имеется два диска: /dev/sda и /dev/sdb, а также microSD карта /dev/mmcblk0
Уничтожаю варварским способом файловые системы и партиции на двух целевых дисках:
sudo dd if=/dev/zero of=/dev/sda bs=4096 count=4096
sudo dd if=/dev/zero of=/dev/sdb bs=4096 count=4096
Возвращаюсь в sudo parted
Выбираю диск: select /dev/sda
Назначаю метку: mklabel gpt
Создаю раздел: mkpart primary 0% 100%
Аналогично для второго диска:
Выбираю диск: select /dev/sdb
Назначаю метку: mklabel gpt
Создаю раздел: mkpart primary 0% 100%
Выхожу из parted написав quit
Вывожу список всех дисков и партиций: sudo lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 4.5T 0 disk
└─sda1 8:1 0 4.5T 0 part
sdb 8:16 1 59.5G 0 disk
└─sdb1 8:17 1 59.5G 0 part
mmcblk0 179:0 0 29.8G 0 disk
├─mmcblk0p1 179:1 0 256M 0 part /boot
└─mmcblk0p2 179:2 0 29.6G 0 part /
Появились две партиции sda1 и sdb1 на моих дисках /dev/sda и /dev/sdb
Форматирую их:
sudo mkfs.ext4 /dev/sda1
sudo mkfs.ext4 /dev/sdb1
Теперь мне нужно найти идентификаторы партиций:
sudo blkid
/dev/mmcblk0p1: LABEL_FATBOOT="boot" LABEL="boot" UUID="E183-6233" BLOCK_SIZE="512" TYPE="vfat" PARTUUID="f9d63b6f-01"
/dev/mmcblk0p2: LABEL="rootfs" UUID="1232a209-2596-48f0-a078-731d10b918ad" BLOCK_SIZE="4096" TYPE="ext4" PARTUUID="f9d63b6f-02"
/dev/sda1: UUID="cbb00841-3976-4f63-994f-2e8ef826e174" BLOCK_SIZE="4096" TYPE="ext4" PARTLABEL="primary" PARTUUID="9d912a08-841f-4c69-9b09-659b89d99f98"
/dev/sdb1: UUID="9dec460a-f6d6-48d1-b2c2-af9b99dad5eb" BLOCK_SIZE="4096" TYPE="ext4" PARTLABEL="primary" PARTUUID="4883ca61-03d5-4842-acd0-15929fb837e5"
В этом выводе мне интересны PARTUUID моих разделов sda1 и sdb1:
9d912a08-841f-4c69-9b09-659b89d99f98 и 4883ca61-03d5-4842-acd0-15929fb837e5
Создаю папки, в которые будем монтировать мои диски:
sudo mkdir /mnt/5t
sudo mkdir /mnt/64g
Я хочу, чтобы мои диски монтировались в эти папки при запуске системы, потому изменяю /etc/fstab
sudo nano /etc/fstab
И добавляю две строки уже к существующим строкам:
PARTUUID=9d912a08-841f-4c69-9b09-659b89d99f98 /mnt/5t ext4 defaults 0 2
PARTUUID=4883ca61-03d5-4842-acd0-15929fb837e5 /mnt/64g ext4 defaults 0 2
Жму CTRL+O, Enter и CTRL+X
Перезагружаю плату: sudo reboot и переподключаюсь по SSH заново
Проверяю накопители: df -h и вижу среди прочих искомые смонтированные разделы:
Filesystem Size Used Avail Use% Mounted on
/dev/sdb1 59G 24K 56G 1% /mnt/64g
/dev/sda1 4.6T 28K 4.3T 1% /mnt/5t
Настройка дисков завершена
Настройка файлового сервера Samba
sudo nano /etc/samba/smb.conf
С помощью CTRL+K удаляю все строки и из буфера копирую:
[global]
workgroup=WORKGROUP
disable netbios=no
wins support = yes
log file=/var/log/samba/log.%m
max log size=1000
server role=standalone server
security=user
map to guest=Bad User
guest ok=yes
guest only=yes
guest account=pi
directory mask=0777
force create mode=0777
force directory mode=0777
[5t]
path=/mnt/5t
public=yes
guest ok=yes
browseable=yes
writeable=yes
[64g]
path=/mnt/64g
public=yes
guest ok=yes
browseable=yes
writeable=yes
Ctrl+o, Enter, Ctrl+x
sudo systemctl restart smbd
На виндовс машине жму Win+R, набираю \\rpi4 и Enter
Файловый сервер для Windows настроен и работает
Настройка torrent-клиента Transmission
Мне нужны три папки для работы клиента:
1.temp — папка где будут храниться данные недокачанных торрентов
2.torrinbox — папка откуда клиент будет забирать торрент-файлы и начинать их качать
3.incoming — папка с завершёнными загрузками
Создаю папки и ставлю разрешения:
sudo mkdir /mnt/64g/temp
sudo mkdir /mnt/64g/torrinbox
sudo mkdir /mnt/5t/incoming
sudo chmod -R 777 /mnt/5t
sudo chmod -R 777 /mnt/64g
Останавливаю клиент:
sudo service transmission-daemon stop
Иду в настройки:
sudo nano /etc/transmission-daemon/settings.json
изменяю:
«download-dir»: "/mnt/5t/incoming",
«incomplete-dir»: "/mnt/64g/temp",
«incomplete-dir-enabled»: true,
«rpc-authentication-required»: false,
«rpc-host-whitelist-enabled»: false,
«rpc-whitelist-enabled»: false,
«trash-original-torrent-files»: true,
«dht-enabled»: false,
в конце конфига ставлю запятую после последней строки и добавляю:
«watch-dir»: "/mnt/64g/torrinbox",
«watch-dir-enabled»: true
Жму CTRL+O, Enter и CTRL+X
sudo mkdir /etc/systemd/system/transmission-daemon.service.d/ && sudo nano /etc/systemd/system/transmission-daemon.service.d/override.conf
[Service]
Type=simple
User=debian-transmission
Group=debian-transmission
Жму CTRL+O, Enter и CTRL+X
Если планируется много (10тыс+ раздач), то делаю вот так:
sudo nano /lib/systemd/system/transmission-daemon.service
добавляю в секцию [Service]
LimitNOFILE=200000
LimitNPROC=200000
Жму CTRL+O, Enter и CTRL+X
sudo systemctl daemon-reload && sudo systemctl start transmission-daemon.service
Как этим пользоваться?
Всё просто:
1.В браузере можно открыть веб-интерфейс торрент-клиента и работать в нём:
2.Или Win+R, набрать \\rpi4 и Enter
В папку \\rpi4\64g\torrinbox бросить торрент-файл для загрузки и когда он загрузится — забрать информацию из папки \\rpi4\5t\incoming.
Вместо послесловия
Плата по SFTP копирует в себя и из себя файлы со скоростью ~30МБайт/с из-за нагрузки на процессор.
Плата по SMB способна полностью утилизировать 1Гбит/с канал ~110МБайт/с.
Следует рассчитывать примерно на ~30тыс мелких раздач на одну плату. Памяти более 2ГБайт не нужно, она не будет использована для полезных задач.
Без радиатора на процессоре — будет плохо.
Всем добра!
У меня смутные воспоминания что трансмиссия при недостатке места куда складывать начинала творить дичь и про раздачу.
Вот и стало интересно, если данные разнесены такого криминала не наблюдается?
Так в то время, как uTorrent весело раздавал кучу трафика, Transmission стоял молча, не раздавая ничего. Потом еще раз проверял, на другом наборе торрентов, без изменений.
С тех пор, я понял что трансмиссия годится только как качалка, с раздачей все плохо
Я делал тест, и переливал кучу файлов с одной моей трансмиссии на другую, используя два внешних IP, все идет окей на отдачу и на прием
И почему в этих же условиях уторрент раздает как угорелый?
А так трансмиссия раздает, но сильно меньше чем другой торрент, и это заметно
Так вот, было три подключения: канадское, украинское, российское.
Россияне часто ставят блеклисты на северную америку, таким образом огораживаются от канадского подключения. Украинцы огораживаются точечными блокировками российских диапазонов, и если использовать только украинским подключением, то многие россияне не смогут скачать и ты у них. Ну и россияне с их РКН тоже любят огораживать целые подсети. В результате, чтобы собрать всю Худ. лит на рутрекере мне понадобилось 3 VPN-а :)
Причем сиды видны в списках, так как предоставляются трекером, но от этой видимости нет никакой пользы, если они забанены.
Потому я и подумал и предположил, что порт закрыт.
Сейчас гадать тяжело. Нужно было смотреть /var/log/syslog когда наблюдалась проблема.
Когда трансмиссия не стартует в положенное время — её прибивает система.
Проблема появляется, когда поднабить торрентов.
У меня на отдельном пк раздается около 10ТБ медиа, около 400 раздач и за день отдача от ~400ГБ до 1.5ТБ, лимитируется только слабым процессором(в вечернее время- много активных раздач) и 500Мбит каналом(обычно в другое время, когда качают всего несколько пиров).
Два года назад брал несколько разных торрент- клиентов, около 30 одинаковых раздач на двух отдельных пк в одной сети и сравнивал отдачу, чтобы посмотреть есть ли разница в раздаче разных клиентов.
Результат получился как я писал выше.
Уторрент был бы совсем хорош, если бы не периодически не падал, забивая перед этим все 32ГБ оперативной памяти.
Аналога Transmission под nix'ы и чтоб с вебмордой в своё время как-то не попалось, потому им и пользуюсь. В принципе, всем устраивает. Подтормаживать начинает, когда активных раздач возникает больше десятка, но это просто хард тормозной (когда уже сдохнет, чтоб поменять).
А вообще я как-то запилю виртуалку с трансмиссией и поставлю два торрента на трансмиссии и QBittorent и расшарю магнет.
При условии, что я буду одним сидом — можно будет проверить.
PS.Кто подскажет, где купить малинку?
мои evtran живы и передают привет
Смысл есть, и большой: кэширование как по записи (многократно меньше мелких операций по записи и соотв. в разы выше скорость, особенно на hdd), так и по чтению. Transmission успешно использует, есть настройка объёма кэша в памяти.
Я переносил систему на плату с 8ГБ памяти и не наблюдал никакой выгоды от этого, кроме расползающихся буферов :)
Какое в среднем количество коннектов на устройство? Думается что top в основном о нем говорит.
Кастомная прошивка с теме же Transmission и Samba.
В плюсах — проще и дешевле, и это по прежнему роутер.
Я тот счастливчик, который успел купить RPI4 до паники за 31USD
А как ее сделать видимой в сетевом окружении?
Ну и антивирус Касперского почему то не любит Самбу.
1 System Options -> S4 Hostname и установите hostname rpi4
перезагрузите и подождите 5 минут
edit: А, вижу что выше уже упомянули об этом
По smb ~100 мбайт\сек выдает по езеру, c падаваном такого и близко не было.
Вполне сносный вариант если не важна сохранность данных.
Устраивается секретарша на работу. директор спрашивает:
— Какая у вас скорость печати?
— 1000 знаков в минуту!
— Так много???
— Правда такая ерунда получается…
Торрент-клиент перед перемещением делает проверку файла по CRC, потому будет видно в логах, когда её придет конец
А так же качает и раздает торренты в i2p с помощью i2psnark.
Подключена к сети yggdrasil.
И при этом загружена не сильно.
top — 10:05:23 up 2 days, 4:17, 1 user, load average: 0.37, 0.38, 0.44
Tasks: 120 total, 1 running, 119 sleeping, 0 stopped, 0 zombie
%Cpu(s): 12.9 us, 2.2 sy, 0.0 ni, 83.8 id, 0.3 wa, 0.0 hi, 0.8 si, 0.0 st
MiB Mem: 972.4 total, 50.2 free, 155.4 used, 766.7 buff/cache
MiB Swap: 1024.0 total, 970.1 free, 53.9 used. 754.0 avail Mem
А тут торренты вяленько качает. Сейчас практический любой роутер с USB портом умеет это делать. На вторичке роутеры с юсб-торрентокачалкой можно взять за 500р и там не нужно ничего настраивать, допиливать, делать корпус и пр…
За прямые руки без споров плюсик поставил. Но жизнеспособность в реальном мире никакая… движуха ради движухи.
А про остальное я прекрасно понимаю, что каждый выбирает устройство в зависимости от его задач. Если большая часть функционала не нужна, то переплачивать нет смысла.
И да, про разницу в цене я тоже в курсе. Называть NASом качалку торрентов, даже без SATA портов, как-то совсем не правильно. На фоне таких заголовков мой роутер кинетик можно называть суперкомьютером тогда.
Если не SSD то хруст винтов (если их больше 2 наверное) особенно по ночам достаёт. А еще куллеры через год начинают не сильно но гудеть, опять же по ночам слышно. Все эти прокладки под ножки и резиновые демпферы помогают но не скзать что бы сильно.
Но функционал у синолджи да, больше и удобнее чем консоль.
Дисковое хранилище у меня на 2U DL380 G9 c 8-ю SAS SSD по 2Тб в рейде. Бэкапы там же и на лентах LTO-6. Но эта машина не работает, когда не нужна.
Принтер у меня HP 1660dn, который сам по себе подключен к проводной сети и в стендбае ест 0,25Вт.
Покажите любой роутер с лимитом по цене в $35USD с четырехядерником и 2Гб памяти и 2xUSB 3.0?
Про роутеры вопрос больше вкусовщины и ваших требований. Кто-то использует сяоми и считает их лучшими, кому-то хватает длинка на 100%. Лично я использую кинетик (не путать с зиксель кинетик), они не из дешевых, но я понимаю за что просят деньги.
Если вопрос максимум характеристик за минимум денег, то это путь на алишку, но к качеству могут быть вопросы.
Я не ёрничаю, я действительно был бы благодарен за подсказку модели роутера с лимитом по цене в $35USD с четырехядерником и 2Гб памяти и 2xUSB 3.0 именно для переделки под сидбокс.
В качестве же роутера у меня очень успешно работает RB750GR3 и уже лежит CRS326-24G-2S+ так как готовлюсь принять 10Гбит/с.
И
швец и жнецNAS и качалка и всё на что хватит фантазии.спасибо.
НО!!!
Зачем все эти костыли с флешкой?! Что мешало купить нормальный CMR диск и вообще не напрягаться по поводу производительности, фрагментации и ресурса?! Кстати, ресурс флешки тоже конечен.
ЗЫ: у меня в NAS сервере стоят тошибы MG08 серии. Один у них минус — громкие, причем громкие даже не в плане работы головок, а в плане гула пластин. Зато быстрые и удивительно холодные. При полном пересчете четности, выдают среднюю скорость в районе 200 МБ/с, при максимальной температуре в 36 градусов.
Ну и, можно подобную коробку запихнуть, да хоть в кладовку.
И это мы не говорим о потере данных из-за ошибок ПО или пользователя, вирусов, внезапного отключения электроэнергии и других возможных причинах.
Вообще отказались от WD, так как есть пару (ЫНТЫРПРАЙЗ, ага) дисков WD5003ABYZ которые сыпят ошибками SMART и пару 2/4 красных терабайтников которые сдохли.
А вот блеки на 1 терабайт (6 штук, купленных хз когда) уже пережили не один переезд и похоже меня переживут.
Дайте линк на новый CMR 2,5 на 5Тб с лимитом по бюджету в 109USD? SMR — легко.
Вот раздел «Худ лит» это 17k+ торрентов на рутрекере и весит ~2Тб. Я могу купить SMR 2ТБ за 54USD или 2ТБ SSD за 188USD. При условии, что и то и то будет потреблять 3Вт и не создавать никакого шума. Что бы вы лично выбрали на моем месте?
Стартуешь два и начинается шатание головкой…
Так же возможно, что transmission не такой и тупой и не будет два файла сразу создавать, просто притормозит закачку второго файла и подождет.
Пишем в фрагментированный диск и он уходит в себя занимаясь перекладкой шинглов, в то же время любое чтение деприоритезируется и «пусть весь мир подождет пока я тут поперекладываю». 1Мбайт/с на запись и практически заблокированное чтение — легко. Правда жесть?
У меня вообще была мысль заливать весь SMR с «большого брата» и только ставить на сидирование, но это уже оверкилл…
А вот если на диске мало места и свободное место фрагменировано, ту да, начинается дичь твориться, своп какой-нибудь с 10 000 фрагментами )
Я тоже люблю дефрагментацию и даже SSD дефрагментирую несколько раз в год. Понимаю что не нужно, но мне кажется операционной системе собирать фрагменты лишняя нагрузка.
оказалось, что причина в резонансе мебели, на которой стоит NAS.
решилось заменой довольно жестких ножек у коробки с дисками на самодельные из силиконового герметика.
1) приходится колхозить в корпусе систему, паять перемычки, пилить радиаторы и питание. Я не говорю что это плохо, это просто усложнение и следовательно возможные проблемы в будущем.
2) Raspberry PI — где купить, почем? причем добавьте сюда дополнения для сборки продукта. Цена может кусаться и требовать еще существенных доработок.
Альтернативой для мелких домашних серверов (от торентокачалки и домашней автоматизации до не знаю чего) я бы назвал анлогичные устройства на базе готовых ТВ приставок под Armbian-ом, особенно если есть готовые версии Community Supported Configuration (CSC) на форумах.
Бонусы в том что это готовое законченное устройство в корпусе и с питанием, которого достаточно для внешнего USB накопителя.
Максимум — доработать охлаждение, если планируется повышенная нагрузка (но это далеко не всем нужно).
Armbian на самом деле живет и здравствует. По сути это обычнй дебиан или убунта, обычно свежий, или почти свежий.
И тема эта очень большая. Форумов и сайтов много.
Навсидку обо всех вариантах быстро не скажу, но я использую сейчас такое
Приставки на RK3318 (RK3328), кстати их найти не проблема еще.
forum.armbian.com/topic/17597-csc-armbian-for-rk3318rk3328-tv-box-boards/
Вполне рабочая прошивка есть, ставиться и с SD карты и во флеш, содержит удобный инструмент бэкапа содержимого родной внутренней флешки.
Кое что на S912 (USB 2.0) на базе старых армбианов (дебиан10), когда еще balbes150 делал, в принципе оно еще актуально. Просто образы и мануалы надо поискать на форумах.
И лежат про запас (точнее работают иногда по назначению) пара приставок на Amlogic S905X3, сейчас точно не найду ссылки, но гдето на том же forum.armbian.com/forum/60-amlogic-cpu-boxes/ были варианты. Впрочем там есть для разных боксов и чипов.
Они продаются достаточно широко, можно подобрать модель с прямой поддержкой в прошивках.
Это я все к тому что такую приставку (с USB3.0, а может и даже с 1Гб портом сети) реально было купить за $30-$35, край $40, особенно если по акциям и распродажам. И это будет готовое решение.
Малина с обвязкой обойдется заметно дороже.
Именно потому я умышленно не стал писать где купить малину, так как мои реалии немного другие, и что актуально для меня — не актуально для читателя.
Я двигаюсь к дизайну с CM4+sata контроллер+сата разъем на жесткий диск, эдакая маленькая плата со всем, которую смогу растиражировать.
Изучу андроид приставки, спасибо за совет.
До малины этого Transmission стоял на Wyse 5070 с J5005 и коробка так же проседала на 30+к торрентах, при этом кушала по питанию больше, потому малина стала прогрессом.
Ещё интересный факт: я поставил убунту сервер на машину с ссд, i7-8700, 32GB RAM и воодрузил те же 30к+ торрентов, так вот, кроме расчетов хешей всё остальное работало так же медленно, как и на малине при достижении целевых 30к+ торрентов. Т.е. видимо сама Transmission при достижении такого количества торрентов теряет время на переключение контекста. А теперь вишенка на торте: даже на i9-9900kf+SSD+64GB RAM под любой виндой QBittorent решительно теряет башку уже при 20к+ торрентах. Можно догнать его до 30k+ путём смены времени рефреша списка с 1,5с до 20с., но при этом эта штука требовала внимания, т.к. висла пару раз на неделю. Потому, снова повторюсь, малина решила вопрос суперским образом. Вот свет тушили планово 45 дней назад:
pi@raspberrypi:~ $ uptime
02:11:50 up 46 days, 3:43, 2 users, load average: 0.59, 0.50, 0.52
Я даже не смотрел туда по включению питания, т.к. всё на трекере сидируется отлично :)
Сейчас вот купил, зацените:
Протестирую, попробую прикрутить sd-карту к SDIO на m.2, или накрайняк сдую eMMC и впаяюсь туда, через левел конвертер. Если что-то выйдет — напишу обзор.
В случае с myanona — использую расширение огнелиса link gopher и простейшую автоматизацию на Automatic Mouse and Keyboard
У меня — китайский, он все абьюзы в /dev/null сливает.
Если подключить Bell — то письма будут, но не более того…
Carrytel.ca
Я в личке у вас инвайт попросил…
После они пишут тебе имейл и предлагают зайти в личный кабинет с уникальным для имейла логином и паролем.
Если ты дятел и заходишь, то предлагают тебе самому заполнить твоё имя и адрес.
Если тупой дятел — ты заполняешь и тебе предлагают досудебно заплатить 300долл за нарушение :)
Так вот, согласно 2ip.ru сейчас мой IP:
Ваше местоположение: Россия, Москва
Ваш провайдер: JSC AMTKOM
И это без VPN-а :)
Каждый инвайт я зарабатываю ~4-5 часами сидирования, потом выдаю. Если кто-то не регается вовремя, то я не могу выдать ещё кому-то, потому будет задержка, но я иду по списку в порядке запросов и выдам инвайты всем. Просто это займёт немного времени.
У меня есть пара облачных машин с прокси, иногда качаю через них модную киношку, на которой могут пасти. Но это ломает кайф от Гигабитного канала :)
И вставлю свои 5 копеек насчет альтернатив –– пользуюсь Odroid HC4. Из плюсов –– правильный sata порт с хорошим чипом и ОС ставится на hdd без танцев с бубном. Полет около года –– нравится :)
От форм-фактора не в восторге, но лениво опять заниматься измерениями/рисовать в автокаде и тд –– остается, как было )
Я решил этого не делать по соображениям фрагментации
Если у вас так невесело всё крутилось на i7\i9 (архитектура х86, напомню),
так может ARM — всё же выход?
Зачем опять спотыкаться о те же Intel-грабли, к тому же на Атоме? Там только аппаратное декодирование видео полезно, остальное — тот же убогий целерон.
Тонкое место то нашли в протестированных архитектурах? HDD\usb\sata?
И не упоминается применение ssd\nvme хранителей — вам же только раздавать требуется, как я понял, оно почти что в памяти висеть будет(ну или совсем рядом — по кратчайшему пути...)
работы с SD картой — ну вы из одной крайности в другую, но кто я такой что бы осуждать. лично мне хватило бы и замеров производительности SD.
Сторонние торрент клиенты я бы тоже попробовал.
rtorrent\tixati\deluge (по уменьшению предпочтений)
Ну или если ява так хорошо работает с памятью, как о ней говорят, то почему бы не попробовать ява-клиенты (FROSTWIRE\Vuze)
а в принципе — Лайк за нерукожопство. Вы хоть что то делаете.
Да, я и понимаю, что ARM в этой задаче будет выгодным.
USB3/SATA не имеют особого значения, так как сама плата может выдать по сети ~110МБайт/с. Нет никакого смысла хранилищу быть быстрее.
NVME я тестировал в другом моем топике, и снова он как тот неуловимый Джо — просто не нужен для раздач из-за лимита сети, ну и дороговизны.
В wуse 3040 распаян один лишь eMMC на 8 Гбайт, его может не хватить для системы. Кроме того, если он умрёт от циклов записи — то коробку на выброс. А если нативно подключить съемную SD карту, то клиент становится «вечным». Безусловно, наверное можно грузиться и с USB карт-ридера. Но жажда экспериментов берёт своё :)
Да, испытаю rtorrent, спасибо
Мысль правда вертелась иная — о подключении напрямую гиговой сетевой карты.
Однако, мысленный эксперимент убедил меня в том, что ограничение пропускной по прежнему будет в шине.
Удачи Вам!
Есть интересный парень на ютубе, Jeff Geerling, он провернул то что я только приготовился сделать: подключил мост PCIE и вставил туда 2,5Гбит/с сетевуху и NVME диск. Реально такое получится сделать, так как теоретическая пропускная способность gen2 1x около 400МБайт/с, и малина очень близка на практике к этой цифре. Другое дело, что я пока не нашел этому применения, т.к. не обладаю свичём на 2,5Гбит/с да и 2,5+NVME будет полезно разве что для главной машины кластера малин, где остальные будут бездисковыми и грузящимися по PXE узлами.
эти боксы суть есть такой же одноплатник только в тесной плохо охлаждаемой коробочке к которой добрый дядя чето накомпилировал, по сути тот же колхоз и ещё большее где купить
Был подключен внешний HDD это всё как-то работало, идея NAS мне понравилась но вот в этой реализации это была боль…
Приходилось скачивать контент на малинку (т.к. она работала 24/7 это не было проблемой, а потом приходилось скачивать контент с малинки т.к. был сильный затык по скоростям передачи данных вроде как сеть там была завязана на USB а ещё и диск, в итоге скорость скачивания скачанного файла была всего в 5-7 раз выше чем скорость моего интернета…
Год может два я так поигрался, потом купил miniATX плату с встроенным процессором и пассивным охлаждением + питание от 19в (не надо ATX блок питания) поставил туда xpenology сделав копию DS916.
Был у меня 4к телевизор Самсунг так в нём был сетевой адаптер который был 100Мбит так вот если скачать хороший 4к фильмец (гигов на 100) то в некоторых сценах битрейд упирался в производительность сети (а точнее сетевого адаптера телевизора) и видео начинало подтормаживать. После смены роутера на более новый с wifi 5Ghz ситуация поправилась т.к. по wifi телевизор поднимал соединение со скоростью ~500Мбит.Так что в некоторых сценариях 100Мбит может быть маловато, как никак 2022 на дворе…
Вот как пришло время и вышла четвертая — стало существенно интереснее…
Можно ссылки на эти железки? и на страницу openwrt.
А как же незабвенные китайские X99 LGA 2011-3 c xeon E5-2650L v3 или подобным негорячим многоядерным процом?
кстати были и совсем небольшие платы на этой платформе, даже Mini DTX (ALZENIT X99I-CE5 например)
Да, жрут поболее рокчипов, но для домашне-серверного использования где нужны процессорная мощность IMHO по соотношению цена-выгода по прежнему трудно найти альтернативу. Разве что брать готовые Б/У платы или сервера под эту платформу на том же C612 чипсете… но тогда возникае проблема шума или колхоза.
Плюс, использую FLEXGET для автоматического скачивания новых серий для отслеживает сериалов, с уведомлением о выходе в телеграм.
Может кому пригодится
Или можно юзать rclone — универсальный клиент к огромному количеству облачных (и не только) сервисов.
Клиенты облачных сервисов обыно заточены на свежие убунты, или дебианы. Иногда графические, но есть и cli.
rclone есть под большинство линухов. если есть под фряху, возможно и получится завести.
NAS4Free основан на ОС FreeBSD же.
Мои малины мне достались по 35баксов год назад.
Телевизоры видят DLNA контент, а приложение в телефоне запускает торренты на закачку…
Взять платку б/у бп 12+5 за пару баксов на али было бы разумнее
SSD здесь как транзитное место и не используется для долговременного хранения.
?
В Германии некоторое время назад охотились за этим делом серьёзно. Сейчас вроде уже меньше, потому что торренты как-то на нет сходят в последнее время, мало уже кому интересно.
Ну и да, и почему бы не разместить всё то же самое, но без железяк на AWS или DigitalOcean каком-нибудь? В принципе там это достаточно анонимно можно сделать.
На AWS/DO это будет очень дорого. Как по трафику так и по хранилищу.
Коло со своей железкой — лучше, но домашнее коло дешевле, особенно если оно не шумит, не греется и мало потребляет.
Про домашнее — ещё канал несколько жалко. Хорошо если нормальный и жирный, но у меня вот никак оптика не дотянется (уже год делают но всё никак не добьют), а радиолинк 30/5 под раздачи отдавать жалко — для работы нужнее.
Вторым паровозом будет 1Tb EBS :)
1,024 GB x 0.10 USD x 1 instances = 102.40 USD (EBS Storage Cost)
Inbound:
Internet: 1024 GB x 0 USD per GB = 0.00 USD
Intra region:
(0 GB x 0.01 USD per GB outbound) + (0 GB x 0.01 USD per GB inbound) = 0.00 USD
Outbound:
Internet: 1024 GB x 0.09 USD per GB = 92.16 USD
Что-то такое получается +-.
А еще страйк прилетит за торренты и заблочат все.
это не просто файлы, а файлы из раздач для торрентов. хранить их в s3 не выглядит как простой и надежный план.
У меня купленный переходник с SATA на USB нестабильно работал, пришлось втыкать его в USB2 разъем. Правда диск был под систему, там скорость не критична.
После — ноль проблем — проверил на множестве дисков и внешних SSD.
Потом проверил на форуме малины, там подтвердили проблему.
В общем там сплошное knowhow от производителя. Ваш текущий вариант с промежуточной флешкой наиболее приемлем. Есть еще вариант с мелкими торрентами увеличить размер буфера в трансмиссии. Т.е. качаем весь торрент в память, а потом линейно сбрасываем его на диск.
Самое печальное, что trim не сделаешь. Хотя ребята с реддита рапортовали, что если залить весь диск нулями, то это будет трим. 5ТБ проливался нулями часов 13…
В своё время покупка Synology стала лучшей покупкой из электроники за долгое время. Не понимаю, как большинство даже технически подкованных людей даже не представляют, зачем оно нужно.
А так делал на разнообразных тонких клиентах, этого добра у меня навалом
ну и винты через USB это как то некошерно.
~12$ б/у плата на 1150 которой нужно только 12v. ищется на ebay «Dell Optiplex motherboard 1150»
~8$ проц g3220
еще нужно блок питания на 12v/60W+, старая память ддр3 и радиатор на 1150 и диски на вкус.
по моему это уже у каждого где-то завалялось.
к плате можно подпаять 12в или разьем купить, распиновка есть в инете.
получается дешевле и гораздо больше возможностей.Но размер конечно побольше чем у PI.
А так согласен, завести на чем угодно можно. У автора то же отличное решение.
Малина же с моим жестким диском по аналогичным расчетам съест за год 0.008*24*365*0.13=9.11 долларов. Думаю имеет смысл бороться за каждый ватт :)
Есть у них же на 2 mSATA вот такой вариант. Там же в их store полазь посмотри, может что-то подойдет. Если что вот их оф сайт
Руками дешевле спаять, если из «желудей и спичек» )))
Они есть и продаются, как в онлайне, так и локально в офлайне.
Они зачастую меньше потребляют и стабильнее работают в подобных устройствах вроде малины или приставок.
Они банально дешевле чем 2.5" винт + сата переходник.
Да, из «завалявшегося» старого винта можно что-то сделать считай что даром, но если надо еще несколько терабайт места?
В общем я про такое (не обязательно про эту модель)
mysku.club/blog/discounts/89289.html#comment4000761
PS: но смотрите отзывы, многие линейки подобных винтов славятся браком.
200 гиговые файлы я тоже не раз в месяц перехеширую, но и одного раза достаточно было чтобы забыть про торрент на rpi навсегда.
Рисовать не умею. Печатать на современных ноутах в самолёте не самое приятное занятие.
Я уже старенький, засаленный, но все еще могу крутить шурупы и винты как новый.
Дается мне это в последнее время не легко, хотя хозяин ухаживает за мной. Регулярно чистит щеткой после использования, недавно перебрал редуктор, теперь у меня там новая смазка. Устранил люфт шпинделя. Но я все равно унываю, т.к. я уже старый и повидавший виды инструмент. Аккумуляторы мои сели окончательно, надо менять, но у хозяина пока нет денюх на меня. Хозяин злится, что меня хватает всего лишь на полчаса работы от двух аккумуляторов и иногда отшвыривает меня и берет Макиту у коллеги, а я так ревную, так ревную, ну что я ему сделал не так, а? Еще я часто слышу упреки, что мой младший брат (Powermaxx Li 7.2) был легче и удобнее, а я толстый, неповоротливый и руку ему оттягиваю, за счет большого веса ломаю тонкие сверла. В общем я не знаю что делать, но делать что-то надо. Пугает перспектива оказаться на Авито, говорят это жуткое место… Но я все равно стремлюсь жить полноценной жизнью и приносить пользу своему хозяину!
Кажется этот скриншот еще из времен когда transmission у меня то ли на core2quad был, то ли вообще на qnap с дохлым ARM процом
Настройте одинаково параметры сети (µTP, LPD, DHT, шифрование), ограничения на число пиров и проверьте проброс порта.
Даже Atom 230 прекрасно отдаёт 80 мегаБАЙТ в секунду, что уж говорить о 10-12…
Сказки на ночь. :-D
Вы на чём контейнер запускаете, что у Вас там 500 гигабит? :)
Смешно не смешно, а давайте скринов сделаем? Я вернусь домой, и покажу наглядную разницу. Причем трансмишн нативно, а делюж будет в контейнере.
Разницу в чём? В Ваших руках и прямых? Вам уже выше не раз сказали, что:
— они построены на одной библиотеке;
— работают одинаково в прямых руках;
— а значит, Transmission способен «прокачать» ровно то же самое, что и Deluge.
А потом будем про прямость рук говорить и прочее.
Вот у меня сервер HP G8 в ISP:
24 ядра, 96GB памяти, RAID и канал 4x1G на NetXtreme BCM5719. Могу на нём запустить. :)
Детсад… Знающие люди говорят человеку, но он уверен только в своих заблуждениях…
Тем более, что в случае трансмишена это, скорее всего, не даст почти никакого преимущества.
Попробуй ради прикола. Посмотрим какую скорость от 4х1 будет утилизировать транс.
А про то что Вы что то открыли куда то и кому то — вообще не интересно и ничего не стоит. Мне блокнотик тоже 1 раз подарили, но у меня хватает разумения этим не бравировать :)
Я Вам предложил поставить трансмишн на «Ваш» сервер и провести тест. Дел то на 2 минуты, а Вы мне про ерунду какую то начали рассказывать.
но у всех очень разные точки зрения на это.
Более менее законченные конструкции стоят не дешево, да и наборы для сборки nas на основе одноплатников, для той же малины тоже очень недешевые, сопоставимо с бюджетными «обычными» nas,
а если экономить то придется поработать и головой и руками.
я б туда еще микротик сунул бы для полного торжества глумления )))
обзор очень полезен, большое спасибо автору!
При цене в 10 т.р. будем иметь уже 1) встроенный wifi 2) встроенный сата (а не эти ущербные переходники с USB) 3) блок питания в комплекте и производительность выше.
PS: Тоже хотел себе нас на распбери, но посчитал бюджет, офигел и купил неттоп. Уже работает не выключаясь несколько лет.
Любой бокс под эту прошивку берите (читайте отзывы), но только не шибко мощный, иначе перегрев — зависания, либо колхозить обдув
смотреть надо на форуме, forum.armbian.com/clubs/1-tv-boxes/
и в его подразделах (рокчим, амлоджик, алвинер ..)
Если глянуть даташит на сам чип, то он не такой уж и простой. Если правильно подключить DP DN к USB разъему, то он начнет договариваться о QC и из 5В переходить на более высокие напряжения.
Просто на этой плате, ввиду наличия двух параллельных USB разъемов с этим решили не связываться, так как потенциально при включении повышенного напряжения девайс во втором разъеме задымится не ожидая ничего иного, кроме 5В.
Я пытался купить сам чип отдельно, но увы, их нет на Али/Ebay
В свое время также задумывался над сервером, в результате пришел к выводу, что лучше переплатить, но получить полноценный сервер (NAS), нашел «старый» комп достал от туда материнку (микро АТХ) c процом, купил корпус Gamemax ST-610G, купил бу блок питания под этот корпус, кулер взял потише и все. В целом довольный, шум минимальный и цена адекватная. Поднял все это на синолоджи.
П.С. рассматривал готовый, но не понравилось из за железа, хотя вопрос задач которые нужны и времени.
(я пробовал если что)
Я писа́л о нём ещё в 2016.
Вот сравнение с готовым TerraMaster F4-210 (купил на avito с доставкой неисправный и восстановил загрузчик и прошивку), фото сделал только что:
Он меньше, но… Он и более ограничен в возможностях: плату, проц не поменять, память не нарастить, сетевуху 2.5GBASE-T/5GBASE-T/10GBASE-T не воткнуть, прошивку особо не поменять.
А на Intel ITX можно всё: XPEnology / OpenMediaVault / FreeNAS / etc…
я имел виду решение по типу топикстартера и то что коментирующий выше предложил, это две большие разницы, но типовой itx как и упомянутый miniatx не шибко хорош ни для одного из вариантов: ни для тихого безвентиляторного однодисковика, ни для нормального многодисковика
А на ITX можно собрать и его, и полностью бесшумную систему.
к малине кстати продают корпус с платой куда ажно 5 дисков 2,5 впихивается, но тоже не дешево
Взял
мать от hp compaq 100-- 15$
винт 2 тера sata за 20$
блок для ноута HP 65w-- 5$
все
Считай обычный компик, у мамки можно взять и 5 и 12вольт, полноценный сата, обычная оператива, ну чутка больше по размерам, но дешевле, надёжней, универсальнее
мать
Проц E1-2500 2 ядра на борту
Память 2 слота DDR3 до 16Гб
2 Сата
8 USB
1 VGA
1 DVI
из минусов — 2 сата медленных, и нет USB 3.0
PS: цена на ebay от $20, а еще посреднику…
PPS: ну почему сейчас так трудно найти j3355? a j1800/j1900 не умеют AES
ТВ-приставка с Android — выбор средств управления велик (см. Google Play). Тех же клиентов для Kodi море.
в комплекте — приложение про смартфон.
про бютус я думаю можно забыть, все работает по wifi.
a.aliexpress.com/_9hNw3g
Airdisk Q2 Mobile network hard disk USB3.0 2.5" Home Smart Network Cloud Storage
a.aliexpress.com/_99v7oI
Решил проверить, насколько сейчас сложно сделать из приставки H96 MAX X3 за $40 с USB 3.0 внешним 2,5" накопителем WD Element SE 4TB за $60 нечто работающее по теме обзора.
Сделать с помощью Armbian 22.02.0-trunk Focal (он внутри повторяет Ubuntu 20.04.3 LTS). Кстати приставка завелась на всех 3х вариантах сборки, с ядрами 5.4.170, 5.10.90, 5.15.13.
Поставил все по инструкции, скачал образы у которых в имени файла Aml_s905x3 (их там 3, по версиям ядер,
версии с Х-ами тут не рассматриваю)
Образ залил на 32Gb microSD флешку с помошью balenaEtcher,
на FAT32 (boot) разделе в uEnv.txt файле прописал
а u-boot-x96maxplus.bin копировать в u-boot.ext не надо было, так как в скачанных образах он и так был идентичен u-boot.ext из Х3 версии прошивки.
(Кстати проверил и на приставке с процессором S912. Работает, хотя там пришлось писать на USB флешку. И там ядро только 5.4.)
После этого можно ставить флешку в приставку и грузиться.
При 1й загрузке ос запросила задать рут пароль.
На EMMC не переписывал, но встроенный бэкапер внутреннюю память успешно сбэкапил, хотя для данной приставки это ненужно, тут есть ссылка на архив со всеми версиями оригинальных прошивок. Заливается элементарно через шнурок USB-USB с помошью USB Burning Tool (есть на 4pda).
Винт-сеть работает отлично, поставил софт фтп сервера и увидел скорость заливки-скачивания по фтп 80-90Мбайт в сек. Разумеется для большого файла. При мизерной нагрузке на ядра процессора.
А вот при скачивании по scp одно ядро уходит в 100% загрузку и скорость скачки сразу падает с начальных 60Мбайт до едениц.
Погонял стресс тесты, выше 53 градусов на процессоре нагрева не увидел. То есть смысла колхозить увеличенный радиатор для большинства применений просто нет.
Потребление с винтом, по 5В входу, было без нагрузки 0.65А-0.7А, в пике при дисковой нагруке видел 1.1А. От родного питальника (5В, до 2А). Без винта, без нагрузки — 0.4А-0.5А.
PS: это я к тому что собрать торентокачалку, сервер недо-NASa, автоматизации — можно просто и дешево, без танцев с бубном, по имеющейся на странице сборки инструкции. А в итоге получить вполне адекватный линух на мелкой малопотребляющей, но достаточно мощной железке.
PPS: полез на али, поискать эти приставки (кстати она полный аналог по железу НК1 BOX и Vontar X3), так там мне попадались в основном какието урезанные модификации с 100М сетью. Если решите искать — обращайте на это внимание.
Спасибо за тест
заливка 87 Мбайт в сек сразу
скачивание, начинало на ~42, доходило до ~60 мбайт в сек к концу файла.
При повторном скачивании директори с образами, уже начинало с 70 и до 83Мбайт скорость выростала.
Ниже v3 сейчас опасно использовать, даже в локальных сетях.
А можно пру линков на Али, если находили проверенные / не стремные?
а так, просто ищите «s905x3 1000M» на алиекспрессе.
Потом сортировка по цене или количеству заказов, и смотрите модели
H96 MAX X3, НК1 BOX и Vontar X3
и вчитывайтесь в описания, там пишут скорость сети обычно.
НК1 BOX 4G/32/1000M нашел за $41, H96 MAX X3 тоже видел с разницем $0.5 от хк1, с 1Г сетью.
ищите
PS: где купить у проверенных, лучше на 4pda спрашивайте, в темах по каждой им моделей. Там просто больше вариантов.
HK1-Box $46
H96-Max-X3 $47 (правда этот уже закончился, ожидается)
Да, чуть дороже чем на али, но вероятность получения 100М практически нулевая.
секунд 10
кнопка может быть внутри AV коннектора, гуглите «метод зубочистки»
PS: а вообще с такими вопросами сходите в профильную тему на 4pda, там есть FAQ
А я бы попробовал через шнурок + USB burning tool залить оригинальную андроид прошивку,
а потом зубочисткой бы стартовал с SD/USB флешек.
PS: ну и убедился бы что кнопка ресета живая, не оторвана, работает на замыкание.
Стоял атлон 5150 на сокет AM1 с 16 гигабайтами DDR3
И заметил, что уже его недостаточно, с перекодированием в сервио не справляется.
Поэтому поставил атлон 200GE с 16 гигами DDR4
Как говориться, по требованиям и железо подбирать надо.
А для одноплатников задачи попроще — парочка с октопринтами, парочка с либреэлек, ешё на одном волумио.
Всё же на ARM NAS получается слабоватый
Всё что не оборудовано — рано иди поздно приведет к повреждению данных.
Мой случай с малиной — не серьезный. Там где всё серьезно — у меня просто серверное железо с серверными дисками
Быстро исправились, так как в таких масштабах всегда будут проблемы. А я подтверждаю из личной статистики замененной памяти в парочке ДЦ амазона :)
пока что ловлю самые рзнообразные косяки
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.