NAS для дома на ZFS из подручных средств и капельки терпения

Навеяно вот этой темой

Дисклеймер: Статья написана только и исключительно для обычных пользователей, хотя надо признать, что базовые знания Linux и/или FreeBSD будут необходимы. Профи и админы широкого профиля для себя тут вряд ли найдут что-то интересное и по этой же причине возможны искажения некоторых терминов для упрощения понимания.

Так же рекомендую пробежать глазами вот эту статью, для, хотя бы, приблизительного понимания, о чем пойдет речь.

Если же очень коротко, то zfs позволяет создавать RAID 0, 1, и 5 (с оговорками, у zfs это скорее аналог со своими приколами) из любых жестких дисков, которые обнаружились у вас под рукой, подключились к материнке и которые эта материнка смогла распознать.

То есть грубо, вы можете взять три жёстких диска на 100Гб, 500Гб, и 800Гб и собрать из них один массив в 1,4Тб (RAID0)
Или взять жесткие диски 500Гб и 800Гб, собрать на них зеркало (RAID1) а из оставшихся 300Гб и жесткого диска 100Гб собрать RAID0 в 400Гб
Говоря короче - игра с дисками и массивами ограничена только и исключительно фантазией человека, который этим занимается. Ну и возможно - наличием свободного времени

Касательно софта для такого хранилища - тут, с моей точки зрения, без вариантов. TrueNAS спасает мир в целом и любого желающего иметь небольшой домашний NAS в частности. Он отлично работает с zfs, умеет, во все необходимые файловые шары, для дома его хватит точно, ибо немалое количество компаний его используют в продакте. Как минимум в FTP и самбу он может без проблем, даже можно нарезать доступы отдельно для каждого члена семьи.

В качестве бонуса в трунасе есть еще и гипервизор, то есть можно создавать виртуальные машинки для каких-то своих задач, хотя, если у вас одно из желаний - это использовать виртуальные машинки, то лучше пойти по моему пути и ставить TrueNAS не на саму машинку, а на Proxmox. Он тоже отлично умеет в zfs и тут есть интересный нюанс, а именно: когда у тебя под проксмоксом настроены пулы zfs и на них стоит TrueNAS тоже на zfs то в таком случае отсутствует "налог на виртуальность" ибо работа с файловой системой диска идет напрямую. Как говорится мелочь, а приятно

В моем случае всё это чудо рукоделия работает исправно на балконе уже несколько лет на конфиге i5-3350/32Gb RAM и 5 HDD, из которых 2 Hitachi по 2Тб отзеркалены, а Seagate 1тб, Seagate 800Гб и WD на 2Тб собраны в RAID0 на 3,8Тб. И пусть вас не смущает 32Гб оперативки, поскольку она встала сравнительно недавно, когда из просто хранилища я решил сделать небольшой тестовый стенд, на котором тестирую продукты от Microsoft, в частности System Center, который достаточно ресурсоёмкий. До этого там стояло 8Гб и проблем не было вообще

Наверное как-то так. Если кому-то интересны нюансы настройки - готов поделиться, задавайте вопросы

shuba писал(а):

Но блок питания приказал долго жить и потянул с собой в Вальхаллу и все накопители...

Для важных данных - только железный контроллер с BBU.

Цитата:

s - zfs не используется.Это абсолютно ложное утверждение. Много где в коммерции zfs как основная ФС для хранилища используется, и не только для.

Пальцем в модель обычного nas для домашнего и малоофисного применения тыкните. мы тут обсуждаем домашние ns-ы а не "много где используется".

Цитата:

Не нужно ceph сюда приплетать вообще не к месту) ceph решает совсем другие задачи, а именно распределённой ФС по сети. С ceph, конечно, можно начать забивать все гвозди, но это не тот молоток. Тем более, что сам по себе ceph требует сверхвысокого порога вхождения, там без рюмки не разобраться, чтобы настроить все адекватно. Это не про "поставил, пару команд и оно работает".

А zfs дома это "тот молоток"?

Цитата:

ZFS же как раз и является тем молотком, которым вполне можно забивать наши гвозди, наравне с mdamd и железными контроллерами. Но нужно понимать недостатки и преимущества для себя в каждом из вариантов. Про железный рейд-контролер я уже писал, почему я бы не советовал его в домашних условиях ( по крайней мере, не для всех )

Про железные контроллеры вы написали несусветную ересь. Инструментов, которые вытащат информацию с такого рейда, в случае выхода его из строя - вагон. и с этим справится даже начинающий админ. Чего абсолютно точно нельзя будет сказать о zfs. и уж абсолютно точно не справится обычный домашний пользователь. Совет-же расширять дисковое пространство дисками разного размера - на мой взгляд - банально вредителен для домашних пользователей.

Цитата:

Вы, видимо, не прочли то мое сообщение Я об этом как раз и писал с точки зрения домашнего пользования, что хорошие, проверенные временем и кровью - стоят недешево.

Я как раз прочитал. Для дома более чем хватит встроенного в материнские платы контроллера. И никуда данные в случае выхода из строя оного 9или материнской платы) не денутся. Это все восстанавливается на раз-два даже в домашних условиях с помощью хоть R-studio.

Цитата:

Да, их можно использовать, если у вас есть лишние деньги. Но для большинства это слишком большие расходы для домашнего сервака на коленке собранном. А экономить на контроллере, покупая встроенный в мать или какой-то нонейм с али, смысла нет, вы несете риски и проблем куда больше, чем при использовании zfs того же.

О! вы вспомнили про риски. Какая прелесть. Т.е. сначала мы из какого-то непойми чего собираем nas, потом вкорячиваем туда прожорливую и сложную для пользователя zfs, а потом кричим о надежности? Я правильно понимаю этот фарс? Может, если данные достаточно ценные, то имеет смысл найти дополнительно 2-3 тысячи рублей и не заниматься фигней? Риски для домашнего использования в случае с zfs на порядок выше, чем простецкий рейд на материнской плате. Если что-то случится с zfs или дисками, которые включены в ваш кривой массив, в которые, по вашему совету, пользователь вкорячил диски разного объема, вы лично будете решать его проблемы? Вы - судите по себе и своей квалификации. Как тот админ, который на запрос пользователя о проблемах отвечает: "А у меня все работает". Полная ересь.

Цитата:

Но домашний сервак - не энтепрайз и сосед ваш не будет вашей поддержкой

а в случае с zfs? конечно, будет! Вам самому-то не смешно от этого предположения?

DrRulez писал(а):

Про железные контроллеры вы написали несусветную ересь. Инструментов, которые вытащат информацию с такого рейда, в случае выхода его из строя - вагон. и с этим справится даже начинающий админ.

А вы уже сталкивались с такими кейсами и часто восстанавливали массивы, и всегда это происходило удачно, да?
Я - да, и именно исходя из работы с большим количеством людей, которым кто-то посоветовал железный рейд ( даже в случаях, когда рейд и не нужен вовсе ) я остерегаю людей от бездумного выбора. Если брать его - то подходить к выбору железки с умом.
Часто проблема из-за вендор-лока, который выясняется по факту проблемы, а найти точно такую же железку найти спустя время оказывалось непросто. Время решения для человека затягивалось на неопределенный срок.
При этом данные далеко не во всех случаях с хардрейдом можно достать сторонними средствами.
С софтрейдом ситуация сильно проще с восстановлением и процент восстановленных данных сильно выше, потому что кейсы довольно типовые. Пусть даже сам пользователь не справится, но это гораздо чаще решается удачно.
Я не говорю, что софтрейд это золотая пилюля, которая полностью исключит проблемы и потерю данных, нет. Я лишь говорю, что шансов у пользователя достать свои данные в случае проблем будет меньше, если он просто пойдет и купит любую мать с рейдом.

В любом случае, как я отмечал, к выбору типа рейда и вообще его использования нужно подходить с пониманием. По факту, он не всегда требуется и без него человеку будет проще. Но если выбираешь что-то из софтрейда - надо понимать, действительно ли нужен zfs, может и mdadm хватит. Если выбираешь что-то из хардрейда - надо сознательно подойти к выбору железа, тут не проканает покупка рандомного.

DrRulez писал(а):

Т.е. сначала мы из какого-то непойми чего собираем nas, потом вкорячиваем туда прожорливую и сложную для пользователя zfs, а потом кричим о надежности?

Тут спор больше не про ZFS именно, а про разницу софтрейда и хардрейда.
Я не агитирую именно за ZFS, я остерегаю от бездумности использования хардрейда.

DrRulez писал(а):

Чего абсолютно точно нельзя будет сказать о zfs. и уж абсолютно точно не справится обычный домашний пользователь.

Вот зря вы так) Как раз наоборот, домашний пользователь часто сам может справиться с проблемой и не выходя из дома и не вынимая даже дисков из компа.
Но даже если нет, то проблемы с софтрейдом решались часто удаленно.
Но с хардрейдом смотреть приходилось уже на месте по факту, несли либо к нам, либо мы приходили.

DrRulez писал(а):

А zfs дома это "тот молоток"? для домашнего и малоофисного применения тыкните

Да, вполне себе имеет место быть дома и часто в малоофисных условиях встречается нередко.
Даже в локальных офисах больших компаний встречается, в Магните, Пятерочке на серверах вполне используется до сих пор. Во многих конторах с небольшими бюджетами софтрейд используется часто.

DrRulez писал(а):

Риски для домашнего использования в случае с zfs на порядок выше, чем простецкий рейд на материнской плате.

Я согласен с этим утверждением, если вы осознанно подходите к требованию рейда и осознанно выбирали проверенную железку, потратив кучу времени и сил на поиски, и докинули денег.
Но если покупать просто любую мать с хардрейдом - не согласен.
Основной посыл в том, если вы уж советуете хардрейд, то указывайте явно то, что вы бы посоветовали использовать и почему ( было бы неплохо и кейсы восстановления данных описать, если уже попадались на проблемы )

DrRulez писал(а):

Совет-же расширять дисковое пространство дисками разного размера - на мой взгляд - банально вредителен для домашних пользователей.

А я этого и не советовал ) Это для новичка точно не вариант.

spounge-bob писал(а):

ext4 простой дебиан, wd red купленный в 11 году. и все! нафик все эти пожиратели оперативы типа zfs ps кроме шар там еще гитлаб домашний, и куча других сервисов

ну так и напишите что не осилили zfs) у меня на файлопомойке с 2gb ram крутится уже не первый год
(а если точнее: 9 Power_On_Hours 0x0012 001 001 000 Old_age Always - 84331)
зы: почитайте например про снапшоты очень полезная штука
ззы: и не сыпьте песок) изучать что то новое всегда клево!

DrRulez писал(а):

Вот именно. Для домашнего применения zfs - избыточна, а для обычного пользователя еще и переусложнена, в случае каких-либо проблем. Те, кто пишут, что используют много лет и так далее. прекрасно! Вы знаете, как с этим работать, но человеку, который данными знаниями не обладает - это не нужно. Мало того, для его задач, эти знания - бесполезны. Это подтверждает еще и тот факт, что ни в 1 коммерческом nas - zfs не используется. да, я знаю, что могут написать сторонники данной файловой системы. Но тогда у меня к ним 1 только вопрос: а что вы тогда не используете ceph например? Там можно настроить еще безопаснее и еще быстрее

ну вот откуда такое ошибочное мнение ? еще один ниосилятор ? глупости не пишите
upd: а лучше оставайтесь при своём мнении )

Как всегда линуксоиды выясняют чей линукс круче)))
Тут народ пишет, что софтверный раид лучше, чем на контроллерах. Аминь! Старайтесь избегать хардварного рейда или имейте запасной (а лучше два) контроллера.

Про zfs. ФС реально классная, но надо знать куда и зачем ее использовать. Очень крутая штука ее снапшоты, эдакий "тайм машин". Но вот накладные расходы.... 1 гб оперы на 1 тб винта, ну так себе... Если вы ее ставите на рабочую станцию (на моем любимом альт линукс (кде) идет по дефолту). У меня на производстве видео сервер, там 6 винтов по 6 тб, по итогу 36 тб. Если нарезать zfs, то я сильно встряну на озу и процессорную мощность. А нафига мне эти накладные расходы?...

Еще момент в том, что у этой фс свободная лицензия не соответствует gpl-лицензии линукс и не может быть включена в состав ядра, поэтому, могут возникнуть проблемы с совместимостью.

Линукс и опен сорс прекрасен тем, что дает истинную свободу выбора, но эта свобода обязывает пользователя разбираться в том зоопарке, который он выбирает.

у BTRFS тоже есть снапшоты, на уровне фичевастости что в ZFS полезного для фалохранилища?

atvadim писал(а):

Как всегда линуксоиды выясняют чей линукс круче))) Тут народ пишет, что софтверный раид лучше, чем на контроллерах. Аминь! Старайтесь избегать хардварного рейда или имейте запасной (а лучше два) контроллера. Про zfs. ФС реально классная, но надо знать куда и зачем ее использовать. Очень крутая штука ее снапшоты, эдакий "тайм машин". Но вот накладные расходы.... 1 гб оперы на 1 тб винта, ну так себе... Если вы ее ставите на рабочую станцию (на моем любимом альт линукс (кде) идет по дефолту). У меня на производстве видео сервер, там 6 винтов по 6 тб, по итогу 36 тб. Если нарезать zfs, то я сильно встряну на озу и процессорную мощность. А нафига мне эти накладные расходы?... Еще момент в том, что у этой фс свободная лицензия не соответствует gpl-лицензии линукс и не может быть включена в состав ядра, поэтому, могут возникнуть проблемы с совместимостью. Линукс и опен сорс прекрасен тем, что дает истинную свободу выбора, но эта свобода обязывает пользователя разбираться в том зоопарке, который он выбирает.

много оперативы нужно для дедубликации насчет лицензии почему это было сделано - просто офигенное спасибо компании sun перед покупкой их oracle ... почитайте историю zfs и btrfs

dvasunin писал(а):

у BTRFS тоже есть снапшоты, на уровне фичевастости что в ZFS полезного для фалохранилища?

не поленись открой wiki посмотри btrfs, oracle zfs, openzfs ... думай)

зы: а вообще пользуйтесь любыми "велосипедами" которые вас устраивают главное не ругайтесь)

atvadim писал(а):

Как всегда линуксоиды выясняют чей линукс круче

Вот-вот. Тогда как в винде встроенный софтрейд под названием "динамические диски" просто работает уже пару десятков лет, из них последний десяток умеет дедубликацию, не требуя "гиг памяти на каждый тер диска".

А вообще — для простого домашнего использования типа "сделать зеркало для семейного фотоархива" достаточно хоть любого софтрейда, хоть виндового, хоть линухового, хоть средствами матплаты — неважно, на такой задаче разницы не будет. Чисто дело вкуса.

dimitriy7 писал(а):

atvadim писал(а): Как всегда линуксоиды выясняют чей линукс круче Вот-вот. Тогда как в винде встроенный софтрейд под названием "динамические диски" просто работает уже пару десятков лет, из них последний десяток умеет дедубликацию, не требуя "гиг памяти на каждый тер диска". А вообще — для простого домашнего использования типа "сделать зеркало для семейного фотоархива" достаточно хоть любого софтрейда, хоть виндового, хоть линухового, хоть средствами матплаты — неважно, на такой задаче разницы не будет. Чисто дело вкуса.

отличный кейс под винду) а что будете делать когда вашу шару шифровальщик зашифрует?)

om42 писал(а):

отличный кейс под винду) а что будете делать когда вашу шару шифровальщик зашифрует?)

Раздобыть шифровальщик, скачать его на НАС и умудриться его запустить — это что-то вроде того бородатого анекдота про солдата, умудрившегося потерять автомат, нож, каску и ремень
Скорее злоумышленник на линуховую машину проникнет и rm rf сделает
Просто потому, что новичок, делающий первый в жизни НАС из старого компа, линух/бсд скорее всего тоже первый раз в жизни увидит и оставит его дырявым, как решето. А как и зачем урезать права в винде, знают все.
Я ж и говорю: использовать надо те средства, которые лично тебе привычнее и понятнее, тогда меньше будет косяков и уязвимостей. Возможности линуха, винды и чипсетно-матплатных решений в плане софтрейда одинаковы, какой лично тебе проще, то и используй, дело вкуса.

а давайте закончим тред инстафотами своих nnmclub-качалок? Начну со своего

зачем дома этот пожиратель оперативы - zfs?
не вот реально.

PS debian, ext4, wd red (купленный в 11 году),
торренты, гитлаб, куча контейнеров в докере, шара, web,
и все это 24x7 с того самого 11 года.

dimitriy7 писал(а):

atvadim писал(а): Как всегда линуксоиды выясняют чей линукс круче Вот-вот. Тогда как в винде встроенный софтрейд под названием "динамические диски" просто работает уже пару десятков лет, из них последний десяток умеет дедубликацию, не требуя "гиг памяти на каждый тер диска". А вообще — для простого домашнего использования типа "сделать зеркало для семейного фотоархива" достаточно хоть любого софтрейда, хоть виндового, хоть линухового, хоть средствами матплаты — неважно, на такой задаче разницы не будет. Чисто дело вкуса.

Камон, mdadm в nix на заре нулевых появился (если не ошибаюсь).

Виндовз - тупиковая ветвь развития ос. Со временем виндовз станет линуксом. Встроенное ядро линукс в виндовз, повершелл как жалкое подобие bash, и пр.... Виндовз не жизнеспособна как в серверном исполнении, так и в рабочих станциях. Каждый раз молиться при установке очередных обновлений?

om42 писал(а):

spounge-bob писал(а): ext4 простой дебиан, wd red купленный в 11 году. и все! нафик все эти пожиратели оперативы типа zfs ps кроме шар там еще гитлаб домашний, и куча других сервисов ну так и напишите что не осилили zfs) у меня на файлопомойке с 2gb ram крутится уже не первый год (а если точнее: 9 Power_On_Hours 0x0012 001 001 000 Old_age Always - 84331) зы: почитайте например про снапшоты очень полезная штука ззы: и не сыпьте песок) изучать что то новое всегда клево! DrRulez писал(а): Вот именно. Для домашнего применения zfs - избыточна, а для обычного пользователя еще и переусложнена, в случае каких-либо проблем. Те, кто пишут, что используют много лет и так далее. прекрасно! Вы знаете, как с этим работать, но человеку, который данными знаниями не обладает - это не нужно. Мало того, для его задач, эти знания - бесполезны. Это подтверждает еще и тот факт, что ни в 1 коммерческом nas - zfs не используется. да, я знаю, что могут написать сторонники данной файловой системы. Но тогда у меня к ним 1 только вопрос: а что вы тогда не используете ceph например? Там можно настроить еще безопаснее и еще быстрее ну вот откуда такое ошибочное мнение ? еще один ниосилятор ? глупости не пишите upd: а лучше оставайтесь при своём мнении )

ну так и напишу, что не "не осилил", а осиливать не стал, почитав рекомендации к оперативе.
ясен пень что от двух гигов оно не взорвется и даже будет работать.
только в чем смысл-то?

в "снапшотах"? - так снапшоты и в LVM есть
в "стабильности" - так и ext4 стабильна.
в чем реальный смысл zfs ДЛЯ ДОМА ???

spounge-bob писал(а):

om42 писал(а): spounge-bob писал(а): ext4 простой дебиан, wd red купленный в 11 году. и все! нафик все эти пожиратели оперативы типа zfs ps кроме шар там еще гитлаб домашний, и куча других сервисов ну так и напишите что не осилили zfs) у меня на файлопомойке с 2gb ram крутится уже не первый год (а если точнее: 9 Power_On_Hours 0x0012 001 001 000 Old_age Always - 84331) зы: почитайте например про снапшоты очень полезная штука ззы: и не сыпьте песок) изучать что то новое всегда клево! DrRulez писал(а): Вот именно. Для домашнего применения zfs - избыточна, а для обычного пользователя еще и переусложнена, в случае каких-либо проблем. Те, кто пишут, что используют много лет и так далее. прекрасно! Вы знаете, как с этим работать, но человеку, который данными знаниями не обладает - это не нужно. Мало того, для его задач, эти знания - бесполезны. Это подтверждает еще и тот факт, что ни в 1 коммерческом nas - zfs не используется. да, я знаю, что могут написать сторонники данной файловой системы. Но тогда у меня к ним 1 только вопрос: а что вы тогда не используете ceph например? Там можно настроить еще безопаснее и еще быстрее ну вот откуда такое ошибочное мнение ? еще один ниосилятор ? глупости не пишите upd: а лучше оставайтесь при своём мнении ) ну так и напишу, что не "не осилил", а осиливать не стал, почитав рекомендации к оперативе. ясен пень что от двух гигов оно не взорвется и даже будет работать. только в чем смысл-то? в "снапшотах"? - так снапшоты и в LVM есть в "стабильности" - так и ext4 стабильна. в чем реальный смысл zfs ДЛЯ ДОМА ???

>в "снапшотах"? - так снапшоты и в LVM есть
пользуйтесь!

>в "стабильности" - так и ext4 стабильна.
наслаждайтесь!

>в чем реальный смысл zfs ДЛЯ ДОМА ???
вот хочется мне как и вам использовать для дома ext4 я разве вас призываю что то поменять?)
на опеннете уже наговорился на эту тему можете посчитать за слив ... пилите свой "велосипед" как хотите точнее что осилили на том и катайтесь)

spounge-bob писал(а):

зачем дома этот пожиратель оперативы - zfs? не вот реально. PS debian, ext4, wd red (купленный в 11 году), торренты, гитлаб, куча контейнеров в докере, шара, web, и все это 24x7 с того самого 11 года.

вот еще один пример мифотворчества)