LINUX.ORG.RU
решено ФорумAdmin

ПОДЗЕМНЫЙ СТУК! Есть ясновидцы и Экстрасенсы? (Не работает rsync)

 , , zfsonliynux,


0

1

Стоит Debian Bookworm, zfs-dkms.
История идёт давно. Купил 4Т винт и начался анекдот про негра жмущего F6-ENTER-TAB-F6. Началась реорганизация всего барахла между 16TB дискового пространства из 5 дисков.

В частности была операция по резервированию «половинки» от старого рейда (DEGRADED RAID). Идея была в том чтобы тупо /dev/md0 /dev/md1 (root,/opt) рсинкнуть на zfs с упаковкой gzip-9, затем вместо DEGRADED рейда сделать один раздел zfs/gzip-9 и вернуть данные на него.
(Раз пишу - отчитаюсь: с первого взгляда squash не сильно опережает gzip-9. Для примера корень размером 64Gb, на zfs занимает 38Gb к которым можно полноценно обращаться. squashfs вариант занимает 36Gb, но он естественно только для чтения.)

Финал, не спал, может забыл, но:
rsync -axvPH md0-root /S1TArchive - Посчитал и ничего не стал копировать. Как будто в назначении уже есть все эти файлы. Но там ЧИСТО!

Я все ключи перепробовал. Не помогает! Потом пришла мысль: Сделать на назначении каталог: 2Try. Добавил rsync в назначении /2Try и он начал копировать... НО! В другом окне, в mc я вижу чистый каталог!

Сейчас сижу, пишу сообщение, а в фоне 2 окна с копиями. В одном копирует rsync, а в другом ТУПО нажал F5 в mc, в каталог /3Try.

Так вот rsync трудится, а файлы в пути назначения НЕ ПОЯВЛЯЮТСЯ!
В другом окне - mc копирует и файлы появляются.

Какие есть предположения? Что это за «подземный стук»?
P.S. Винт назначения (впрочем и источник тоже) включен по USB3 и в финале экспортирую винт назначения и взгляну на него с другого компа (откуда он родом).

P.P.S. Дело было не в бобине...
Модеры могут удалить тему, а могут сохранить. В назидание.
Я понимал что этого не может быть, но упорно не видел ошибку.
Рсинк в скрипте шел не в тот каталог в котором я смотрел, разница была в букве и цифре, вместо винта S1 всё шло на T2.
Бывает когда подмонтировал к одному компу 5 Многотерабайтных винтов...

Отмечаю тему как решенную!

★★★

Последнее исправление: n0mad (всего исправлений: 1)

Ответ на: комментарий от kostik87

rsync -zavp /source /target

Говорю же: «Подземный стук!»
Пока идёт копирование, в соседнем окне сделал каталог 4Try
и рсинкнул туда etc. Всё прошло без проблем. Как закончится эта рсинк сессия, повторю в 4Try, сначала только etc и если опять пройдёт то прежнюю строчку, от корня но не в 2Try а в 4Try. Надо найти комбинацию условий для устойчивого повторения косяка.
И строчку из буфера законспектирую, и посмотрю какие могут быть ошибки.

n0mad ★★★
() автор топика
P.P.S. Дело было не в бобине...
Модеры могут удалить тему, а могут сохранить. В назидание.
Я понимал что этого не может быть, но упорно не видел ошибку.
Рсинк в скрипте шел не в тот каталог в котором я смотрел, разница была в букве и цифре, вместо винта S1 всё шло на T2.
Бывает когда подмонтировал к одному компу 5 Многотерабайтных винтов...


Отмечаю тему как решенную!

n0mad ★★★
() автор топика
Ответ на: комментарий от GAMer

А какова цель такого действа? Потому как, думается, либо lz4, либо zstd будут оптимальнее.

Видели в теме имя назначения? /S1TArchive
Это тупо архив. Там не нужно быстродействие.
S1T Это Samsung 1T, есть ещё и T2TArchive - Это Toshiba 2T.
Винты подключающиеся через USB3 адаптеры. Преимущество zfs в том, что как дойдут руки - можно удалить ненужное и оставить нужное. На освободившееся место можно записать что то ещё,хотя для архивов это стрёмный алгоритм. В идеале на архивный носитель - пишется только раз, и потом просто берется новый носитель. А то так «случайно» можно грохнуть нужный архив. Но терабайтные магнитные кассеты нынче дороги (вернее дороги накопители для них). Приходится извращаться с жесткими дисками. Сейчас я на ВБ взял 2 по 4Т по <6 тыр.

Или может кто даст пруфлинк на покупку современного недорогого и ёмкого стримера и кассет к нему? (Которые будут стоить дешевле чем SATA винты.)

n0mad ★★★
() автор топика
Ответ на: комментарий от n0mad

Это тупо архив. Там не нужно быстродействие.

Речь о том, что lz4 жмёт быстрее при сопоставимом сжатии, а zstd сильнее при регулируемом в широких пределах быстродействии. gzip уже не при делах.

GAMer ★★★★★
()
Ответ на: комментарий от n0mad

на ВБ взял 2 по 4Т по <6 тыр

Тут главное после записи проверять, что точно записывается и читается. А то бывают приколы, обычно с флешками\ssd, но, возможно, что и с блинами тоже могут быть.

sehellion ★★★★★
()
Ответ на: комментарий от GAMer

Речь о том, что lz4 жмёт быстрее при сопоставимом сжатии, а zstd сильнее при регулируемом в широких пределах быстродействии. gzip уже не при делах.

Уговорил. Завтра проверю. На zfs это-ж лекко!

n0mad ★★★
() автор топика
Ответ на: комментарий от sehellion

на ВБ взял 2 по 4Т по <6 тыр

Тут главное после записи проверять, что точно записывается и читается. А то бывают приколы, обычно с флешками\ssd, но, возможно, что и с блинами тоже могут быть.

Этода, с флешками и SSDшками жесть. Но за все эти фейки достаточно легко вернуть деньги и они остаются у тебя. Пускаешь f3probe и лог в маркет, маркет сам не любит продавцов продающих фейки.
Попалась фейковая 4Т ССДшка - вообще гений фейка, у неё внутри своя таблица трансляции и оно проходит f3probe, и работает по всем диапазонам, пока не запишешь 128Gb, потом перестаёт писать.
Зато теперь есть халявная 128Gb SSDшка. Делаешь раздел 120Gb (8 Запас) и выполняешь регулярный TRIM и включаешь автотрим для тех fs которые умеют.
На блины в WB прописана гарантия 12 месяцев, за это время можно детально оттестировать и вернуть по гарантии.

n0mad ★★★
() автор топика
Ответ на: комментарий от n0mad

Сейчас я на ВБ взял 2 по 4Т по <6 тыр.

ВБ - это Всемирный Банк? Он уже настолько опустился, что начал торговать хардами? Я бы не рисковал у них покупать, раз до такого опустились, то явно своё БУ оборудование распродают.

anc ★★★★★
()
Ответ на: комментарий от GAMer

Ты ещё учти, что сжатие будет зависеть от размера блока.

Зачем? Зачем учитывать? И какого размера какого блока? Я размеры блоков zfs пулов привёл к 2К, даже у Enterprize винтов с 512Б. Во избежание проблем если вдруг ему в пару встанет Desktop с 2k.

n0mad ★★★
() автор топика
Ответ на: комментарий от n0mad

Desktop с 2k

Я так понимаю, речь об ashift? Тогда это странно.
На винтах я о чём-то отличном от 512 и 4096 байт не слыхал. На флеше всё ещё крупнее, размер страницы до сотен килобайт уже был, а сегодня небось и больше.
Ставить ashift меньше 12 ИМХО не стоит вообще.

Зачем? Зачем учитывать? И какого размера какого блока?

Чем больший блок сжимается, тем больше потенциальная компрессия. Поэтому если инфа потенциально хорошо жмётся, recordsize можно увеличить с дефолтных ЕМНИП 128Кб.

GAMer ★★★★★
()
Ответ на: комментарий от GAMer

Desktop с 2k

Я так понимаю, речь об ashift? Тогда это странно.
На винтах я о чём-то отличном от 512 и 4096 байт не слыхал.

Ихвиняюсь, точно 4k. Речь про ashift, вот я к 12 и привёл, воизбежание. Хотя вот старенький терабайтный Самсунг тоже оказался 512, а я и не подумал ему принудительно ashift=12 включить, он у меня с 9. Ну ладно, это не зеркало. Ему пофиг.

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 2)