Страница 1 из 1

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Добавлено: 2022-04-22 20:41:07
Monarh
Здравия всем!
Имеется новый HDD на 12Тб, планирую разметить его в ZFS, один раздел, под файлохранилище.
ОС: FreeBSD v12.1-STABLE. Стоит на M2-диске 256Gb.
С учётом того, что HDD-диск новый, а также с учётом того, что размер диска 12Тб, какие действия нужно произвести с диском, чтобы разметить его в ZFS?
Нужно ли что-то делать и если нужно, то что, чтобы таблица разделов на нём стала GPT?
Далее мне нужно будет скопировать на него данные с NTFS-диска, планирую сделать это из под рута. Не будет ли здесь каких-то подводных камней? Может есть какие-то предостережения на этот счёт? В частности, на счёт итоговых прав доступа к файлам.
При установке FreeBSD, я под раздел /usr отвёл мало места 9.7Гб, часто установка прерывается из-за нехватки места, приходится вручную переносить каталоги на /home и прокидывать ссылки на эти каталоги. Планирую объединить /usr и /home. Можно ли это сделать без переустановки ОС? Если можно, то как?
С учётом планируемой переустановки ОС на более свежую, будет ли разница осуществлять вышеописанные операции с диском и файлами на текущей ОС FreeBSD v12.1-STABLE или на более свежей ОС?
Заранее всех Благодарю!

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Добавлено: 2022-04-23 1:09:19
FiL
1) никаких. просто zpool create... и указывай диск.
2) кто-ж знает какие у тебя там права на NTFS. Но если оно прочитается, то и хорошо. Если у тебя там рекурсивные линки (как винда любит в AppData), то хрен его знает как оно пойдет. Но если просто данные то проблем быть не должно
3) скорее нет, чем да. Я-бы не заморачивался. Забакапил все и переустановил 13.1 через неделю-другую

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Добавлено: 2022-04-24 14:34:28
Demis
Monarh писал(а):
2022-04-22 20:41:07
какие действия нужно произвести с диском, чтобы разметить его в ZFS?
Прежде чем что-то делать с размещением ZFS на Вашем диске, нужно с начала убедиться,
что Вам не придется столкнуться с проблемами частично описанными по ссылке:
freebsd-f8/strannaya-problema-s-zfs-i-s ... ml#p391851

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Добавлено: 2022-05-11 10:07:57
lazhu
Monarh писал(а):
2022-04-22 20:41:07
Нужно ли что-то делать и если нужно, то что, чтобы таблица разделов на нём стала GPT?
По-науке:

Код: Выделить всё

gpart create -s gpt ada1
gpart add -t freebsd-zfs -l disk1 ada1
(вместо ada1 имя диска в /dev)
А затем уже собственно zpool create myomegapool /dev/gpt/disk1

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Добавлено: 2022-05-12 12:42:24
Demis
Все верно, но тут немного интереснее задача.
Нужно просчитать, а не получит-ли ТС кашку и полную потерю данных через год, два, три.

О чем пытаюсь сказать?

Смотрите, есть хорошая статья про то, как пишутся данные на диски в ZFS:
https://arstechnica.com/information-tec ... rformance/

Сопровождена очень доходчивыми анимациями.
Смотреть раздел "Copy-on-Write semantics" первую картинку в наборе.
Она из четырех частей. Первая анимация это как ведет себя обычная FS, а остальные, интереснее...

Посмотрим, к примеру, вторую анимацию.
Что такое вторая анимация?
Сразу под названием "Copy-on-Write semantics" большая картинка.
Под ней четыре мелкие. Вот вторую и кликаем из этих четырех...

Т.о. мы понимаем, что первый проход записи от 1-го сектора до самого последнего из 12Тб будет писаться некоторое продолжительное время.
Полгода, год, два, три, не знаю (все зависит от конкретных условий у ТС).
Пока этот проход пишется все будет красиво.

Но вот когда дело дойдет до перезаписи, условно второй проход (и последующие), вот тут SMR диска и может "сыграть" у ТС - превратив все в набор бесполезных бит (см. предыдущий пост).
Demis писал(а):
2022-04-24 14:34:28
Прежде чем что-то делать с размещением ZFS на Вашем диске, нужно с начала убедиться,
что Вам не придется столкнуться с проблемами

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Добавлено: 2022-05-28 19:04:01
Monarh
Demis писал(а):
2022-04-24 14:34:28
Прежде чем что-то делать с размещением ZFS на Вашем диске, нужно с начала убедиться,
что Вам не придется столкнуться с проблемами частично описанными по ссылке:
freebsd-f8/strannaya-problema-s-zfs-i-s ... ml#p391851
По нижеприведённым дискам:
  1. TOSHIBA MG07ACA12TE
  2. TOSHIBA MG04ACA600E
Может быть подскажете
1) Они с SMR или с CMR?
2) Будут ли с ними проблемы при использовании ZFS, в том числе, как Вы упоминали через год, два, три?
В первую очередь интересует диск "TOSHIBA MG07ACA12TE".
3) Для меня очень важна длительная надёжность хранимых на диске данных.
Если не ZFS, то какую ФС Вы по рекомендуете в плане длительной надёжности хранимых на диске данных и с учётом ежедневного использования диска в качестве хранилища для скачиваемых файлов, в том числе, например, торрентов?

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Добавлено: 2022-05-28 19:14:16
Monarh
Какую ФС лучше использовать для SMR-дисков?

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Добавлено: 2022-05-28 19:49:24
Monarh
У обоих вышеуказанных дисков в описании упомянуто "Advanced Format, 512e"
Ниже приведу выдержки из статьи (https://www.nix.ru/computer_hardware_ne ... ?id=188116):
#Advanced_Format #512e #4K
Advanced Format - формат разметки области хранения данных на жестких дисках нового поколения, выполненных по технологии 4K (использование физических секторов размером 4 килобайт вместо традиционных 512 байт)
...
Однако длительное время размер сектора в 512 байт был стандартом де-факто, поэтому для работы с существующим программным обеспечением диски с технологией Advanced Format вынуждены эмулировать секторы такого размера, размещая в одном физическом секторе восемь логических.

Операционные системы Windows 7 и Windows Vista не требуют каких-либо мер для достижения оптимального быстродействия, уже поддерживая технологию Advanced Format, а для более старых ОС (в первую очередь - Windows XP) для выравнивания расположения логических секторов относительно физических необходимо воспользоваться программой WD Align, либо ее аналогами, для подготовки диска к работе под ОС Windows XP или перед клонированием диска, содержащего разделы с этой ОС. Также оптимизация возможна запуском этой программы уже после установки ОС.

Основным недостатком этой технологии является падение скорости работы с мелкими (менее 4096 байт) файлами по понятным причинам, однако если не произвести выравнивания разделов при установке или клонировании ОС, не имеющей встроенной поддержки 4K Cluster(другое название технологии Advaced Format), то могут наблюдаться более серьезные проблемы вплоть до трёхкратного падения скорости записи.
1) Поддерживает ли FreeBSD технологию Advanced Format?
2) Нужно ли производить выравнивание разделов хранилища?

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Добавлено: 2022-05-28 20:09:20
lazhu
Monarh писал(а):
2022-05-28 19:49:24
1) Поддерживает ли FreeBSD технологию Advanced Format?
2) Нужно ли производить выравнивание разделов хранилища?
1) Поддерживает
2) Нужно. ashift=12

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Добавлено: 2022-05-29 20:48:44
Neus

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Добавлено: 2022-05-30 11:43:38
Demis
Ну, собственно, народ Вам уже все написал.
Проверить текущее состояние выравнивания:

Код: Выделить всё

diskinfo -v mfid1p1
mfid1p1
        512             # sectorsize
        2999998963712   # mediasize in bytes (2.7T)
        5859372976      # mediasize in sectors
        0               # stripesize
        20480           # stripeoffset
        364729          # Cylinders according to firmware.
        255             # Heads according to firmware.
        63              # Sectors according to firmware.
                        # Disk descr.
                        # Disk ident.
        No              # TRIM/UNMAP support
        Unknown         # Rotation rate in RPM
Если stripeoffset:

Код: Выделить всё

echo 20480 % 4096 | bc
0
Т.е. равно 0, то выравнивание уже работает.