Хочу себе такую игрушку!

Автор: CyberPunk Дата: 04.11.2005 21:41 Фтыкал сюда [www.opennet.ru]. Фштырило до глубины души. Интересно, нам в Линуксе дадут такую игрушку?
Re: Хочу себе такую игрушку! 05.11.2005 01:21unDEFER Вы о ZFS -- я ничего не перепутал?
( А то ссылка к сожалению оказывается не прямой -- там список новостей выводится, при этом прямая ссылка на новость имеет именно этот URL Улыбка )
Re: Хочу себе такую игрушку! 05.11.2005 01:38Bircoph Да, это о zfs. Ссылка прямая, просто парсер форума по ошибке
добавляет точки, запятые и т.п. вещи к ссылкам. Удалите
точку.
Re: Хочу себе такую игрушку! 05.11.2005 06:53unDEFER Ах, точку-то я и не заметил -- прошу прощения.
CyberPunk, в что конкретно заинтересовало??
Снепшоты?
Re: Хочу себе такую игрушку! 05.11.2005 11:58Bircoph Если честно, то я так и не понял, чем zfs лучше чем ext3 или
xfs.
Re: Хочу себе такую игрушку! 05.11.2005 19:45CyberPunk Прежде всего - размазываемость одного раздела по куче дисков и балансировка нагрузки. Если я правильно понял, можно диск с данными прямо на ходу менять без копирования инфы вручную. Да и все остальное выглядит внушительно.
Re: Хочу себе такую игрушку! 05.11.2005 23:37unDEFER > Прежде всего - размазываемость одного раздела по куче дисков и
> балансировка нагрузки.

Ну так это можно с помощью софтварного RAID в Linux реализовать.
А ещё насчёт этого будет ext4fs.
Re: Хочу себе такую игрушку! 06.11.2005 00:31Bircoph Итак, ощутимых преимуществ нет.
Re: Хочу себе такую игрушку! 06.11.2005 07:42CyberPunk Софтовый RAID - ацтой, из него выкрутить диск на ходу и на его место воткнуть другой - несколько проблематично. Как он там балансирует нагрузку - тоже толком неизвестно. В любом случае идея поддерживать один раздел на нескольких дисках средствами файловой системы, видится куда более разумной, чем имитировать для той же цели работу некоего оборудования. Просто эмуляция оборудования - это очевидная программная "затычка", которая обычно указывает на то, что о некоторых вещах при проектировании не задумывались, а когда приперло - сляпали, как было проще, а не как лучше.
Re: Хочу себе такую игрушку! 06.11.2005 12:11unDEFER > Просто эмуляция оборудования - это очевидная программная "затычка",
> которая обычно указывает на то, что о некоторых вещах при
> проектировании не задумывались, а когда приперло - сляпали, как было
> проще, а не как лучше.

А я наоборот считаю -- софтварный RAID более универсальным средством, а потому лучшим.
А выкрутить диск на ходу я думаю можно -- это будет аналогично выходу диска из строя. Но это в любом случае полное зеркалирование нужно. А уж полное зеркалирование реализованное в файловой системе точно не лучше.
Re: Хочу себе такую игрушку! 06.11.2005 12:14unDEFER Ещё

> Как он там балансирует нагрузку - тоже толком неизвестно.

А как балансируется нагрузка в zfs вам значит "толком известно"?

Ещё я считаю, что RAID хоть и софтварный это ближе к unix-way.
Re: Хочу себе такую игрушку! 06.11.2005 12:31Bircoph > Как он там балансирует нагрузку - тоже толком неизвестно.

Возьми сорцы да посмотри, если так интересно - тоже мне
проблема.
Re: Хочу себе такую игрушку! 06.11.2005 21:27CyberPunk unDEFER
>А я наоборот считаю -- софтварный RAID более универсальным средством

И в чем он более универсален? Насколько я знаю, на формат хранения данных в RAID-массивах стандарта вообще нет. И стандартных способов управлять размещением данных - тоже. Т.е. если RAID-контроллер накрывается большой и мохнатой, то заменить его контроллером другого производителя без потери данных - фигвам. Перенести винты с данными со старого и поганого сервера на новый и крутой - тоже только вместе с контроллером (читай - старым и поганым контроллером). С ZFS, судя по пресс-релизу, и то, и другое - абсолютно не проблема.

>А выкрутить диск на ходу я думаю можно -- это будет аналогично выходу диска из строя.

Я про другое. Типа даешь команду "убрать диск фпень" - и данные с убираемого диска сами собой переползают на те части файловой системы, которые не подлежат размонтированию. Потом клацаешь "присобачить винт к файловой системе" - и файлики с плотно забитых дисков всей шоблой ломятся на пустые, походя балансируя нагрузку. С аппаратным рэйдом такой фокус не пройдет, по крайней мере, адекватного софта я не встречал. А софтовый рэйд нулевого уровня - так и вообще мутант, рожденный в анальных оргиях. Единственное практическое применение ему - это если только какой жлоб кучу двухгиговых винтов на помойке насобирает и захочет из них один весьмерик вымутить, да на контроллер не потратиться.

>Ещё я считаю, что RAID хоть и софтварный это ближе к unix-way.

Софтовая эмуляция нестандартной и аппаратной хреновины (когда обращения к ФС транслируются в обращения к поддельному RAID, которые транслируются в обращения к физическим дискам) - это ближе к unix-way, чем интеграция в файловую систему фич, по самОй логике должны быть стандартизованы и принадлежать именно файловой системе?? Наверное, это какой-то другой unix way, который ведет не туда, куда надо.
Re: Хочу себе такую игрушку! 06.11.2005 22:12unDEFER Значит надо вам либо переползать на Solaris ну или реализовать BFS для Linux Улыбка
А ещё из заголовка я не понял так она вам нужна для баловства (игрушка) или всё же для дела?
А у меня тут что-то не получается с драйвером своей файловой системы Грустный
Уже вроде всё работает, что хотел, но вот тут выяснилась проблема с удалением не пустых директорий -- ошибка "директория не пуста" генерируется правильно, но вдруг оказывается что почему-то были удалены inode'ы директории и её содержимого Грустный
Re: Хочу себе такую игрушку! 07.11.2005 20:08CyberPunk unDEFER
>Значит надо вам либо переползать на Solaris

"Это биологически невозможно". Вопрос о переезде на RHEL уже решен, и если я предложу Солярку, которую у нас никто отродясь не употреблял, народ меня не поймет.

>А ещё из заголовка я не понял так она вам нужна для баловства (игрушка) или всё же для дела?

Вообще - для сервера БД, который банды озверевших юзверей насилуют с раннего утра до позднего вечера. Но практика показала, что вместо упрощеных "домашних" решений лучше иметь полномасштабные и с хорошим запасом прочности на будущее, поскольку в итоге все равно все к тому и приходит. Семь лет назад у меня был обычный FAT16, а журналиремые ФС даже не на всех серверах использовались. А сейчас Ext3FS на десктопе ни у кого не вызывает вопросов "а не слишком ли круто для домашнего употребления?"

>А у меня тут что-то не получается с драйвером своей файловой системы Грустный

А в чем хоть главная фишка будущей ФС? Надеюсь, она от рождения UNICODE, и все строки в ней - со счетчиками символов?
Re: Хочу себе такую игрушку! 07.11.2005 21:31unDEFER CyberPunk писал(а):

> Семь лет
> назад у меня был обычный FAT16, а журналиремые ФС даже не на
> всех серверах использовались. А сейчас Ext3FS на десктопе ни у
> кого не вызывает вопросов "а не слишком ли круто для домашнего
> употребления?"

Улыбка Это уж точно.. А вообще странно что ext4fs не разработали.. хотя и хотели

> >А у меня тут что-то не получается с драйвером своей файловой
> системы Грустный
>
> А в чем хоть главная фишка будущей ФС? Надеюсь, она от рождения
> UNICODE, и все строки в ней - со счетчиками символов?

Спасибо за проявленный интерес. С проблемами я разобрался.

Разрабатываемая (точнее уже разработанная и уже почти реализованная) Файловая система AnyFS _не_ предназначена для повседневного пользования. Она не отличается скоростью, надёжностью или чем либо ещё. Она будет поддерживать большинство файловых операций (создание специальных файлов (mknod), директорий, жёстких ссылок, символических ссылок, удаление, перемещение файлов, изменение прав), но не поддерживает создания файлов, изменения их размеров и записи.

Её основная особенность -- внешний файл таблицы информационных узлов (inode'ов), в котором будет храниться в каком блоке искать на устройстве файлы, а также имена этих файлов, структура директорий, информация о специальных файлах, правах, ссылках.. Т.е. на устройстве в итоге будет располагаться только сама информация -- сами файлы, а так как цели их изменять не ставится -- то и само устройство будет использоваться только для чтения.

Зачем нужна такая ФС? Очень просто: далее предполагается написать ещё три утилиты:
1) на основе filefrag из E2fsprogs (ещё одна утилита для узнавания фрагментируемости файла, но это не frag из defrag девяносто-затёртого года, а утилита аж 2004 года и в man'е уже чётко написано, что она работает для любой ФС) будет написана утилита, которая будет считывать структуру каталогов на ФС (двигаясь рекурсивно по указанному каталогу), специальные файлы, ссылки, права, и самое главное -- в каких блоках устройства записаны сами файлы -- на основе этой информации будет сформирован файл таблицы информационных узлов для AnyFS.

2) На основе file, утилита для поиска (фрагментов) файлов на устройстве по магическим последовательностям. На основе собранной информации также будет создан файл таблицы информационных узлов для AnyFS, где в качестве путей для найденных файлов будет выступать их mime-тип (типа application/x-zip, application/pdf, audio/mpeg, video/x-msvideo).

3) И наконец третье -- утилита для построения на основе информации из файла таблицы информационных узлов файловой системы ext2fs (потом может быть и других, но сначала всё же ext2fs) на устройстве на основе.

Таким образом должен получится пакет для преобразования файловых систем и восстановления файлов (в том числе с отформатированных ФС).

Вот, такие глобальные планы.
Re: Хочу себе такую игрушку! 08.11.2005 10:27Raptor unDEFER писал(а):

> Разрабатываемая (точнее уже разработанная и уже почти
...
> Вот, такие глобальные планы.

Туманно и не понятно зачем. Может быть очередная академическая разработка?
Мне, как простому админу, не понятно что может дать эта разработка.
Re: Хочу себе такую игрушку! 08.11.2005 11:58unDEFER Raptor писал(а):

> Туманно и не понятно зачем. Может быть очередная академическая
> разработка?
> Мне, как простому админу, не понятно что может дать эта
> разработка.

Ну, как же! Одно из предназначений -- конвертация файловых систем -- для начала это будет возможность сконвертить (практически) любую ФС в ext2fs. Разве плохо будет если придя с windows пользователь сможет сконвертировать свою ФС не имея лишних 10 Гб для раздела в 10Гб.

А вторая -- восстановление файлов со скажем случайно отформатированной быстрым форматированием ФС или просто случайно удалённых файлов. Самое главное при этом что также не нужно "лишних 10 Гб", а все восстанавливаемые файлы можно будет просмотреть перед восстановлением __любым__ просмотрщиком/утилитой/программой, и восстановить их можно будет не путём копирования на другой раздел, а именно построением ФС, опять же не имея "лишних 10 Гб".
Re: Хочу себе такую игрушку! 09.11.2005 01:09unDEFER Итак, утилита 1 -- готова. Теперь я могу сказать какие ФС можно будет легко конвертировать:
1) ext2/ext3fs, xfs, fat -- вроде без проблем.
2) reiserfs -- есть некоторые проблемы с файлами помещающимися в один блок (почему-то ФС возвращает будто они располагаются в нулевом блоке), т.е. файлы размером меньше 4Кб.
3) ntfs -- на данный момент совсем не поддерживает операции bmap.

ISO по идее тоже должен работать Улыбка Но там скорее всего другая проблема возникнет --- любая ФС скорее всего не сможет быть помещена в тот объём который помещается ISO-образ.
RSS-материал