Новый винчестер и тестирование фс

Аватар пользователя Cherepulya

В связи с приближающимся днем С.А. я задарил сегодня себе Seagate Barracuda 320.10 16 Mb cache.

Пока я не забил его инфой - могу провести некоторые тестирования. Например по быстродействию ФС.
Это кому-то интересно? Если интересно, то пишите предложения насчет тестов.

Планируется тестировать ext3, reiserfs 3.6, xfs (возможно еще и с опциями noatime и notail)

Аватар пользователя keng00ru

Re: Новый винчестер и тестирование фс

Cherepulya писал(а):
В связи с приближающимся днем С.А.

Советской Армии? Катается от смеха

Цитата:
Это кому-то интересно? Если интересно, то пишите предложения насчет тестов.

Интересно. Есть какой-нибудь ненужный компьютер? Поставь один и тот же дистрибутив два раза на разные ФС: ext3 и reiserfs и попытайся их угробить самыми варварскими, но одинаковыми, методами. А то народ давно уже спорит: какая из них более надёжная?

Аватар пользователя Cherepulya

Re: Новый винчестер и тестирование фс

Цитата:
keng00ru пишет:

Cherepulya писал(а):
В связи с приближающимся днем С.А.
Советской Армии? Катается от смеха

В пятницу узнаете ;-)

Цитата:
Это кому-то интересно? Если интересно, то пишите предложения насчет тестов.

Интересно. Есть какой-нибудь ненужный компьютер? Поставь один и тот же дистрибутив два раза на разные ФС: ext3 и reiserfs и попытайся их угробить самыми варварскими, но одинаковыми, методами. А то народ давно уже спорит: какая из них более надёжная?

Компьютеры то есть, но толлько все нужные Улыбка И варварские действия совершать ... Насчет надежности фс я вам и так с кажу (рассматриваем ext3 и reiser3.6). При работе с мелкими файлами и вырубании питания - у райзера больше шансов похерить именно эти файлы. У ext3 такое случается, но поменьше и пореже. Зато если случилась внештатная ситуация - ext3 гораздо чаще накрывается пи.... медным тазом. Так что летит именно вся фс. Да и выход в рабочий режим после внештатной ситуации - задолбешся ждать пока ext3 просканится. Рэйзер же выходит в рабочий режим практически моментально. Если с самого создания reiser смонтировать с notail, то таки надежность его повышается. Правда стоит здуматься тогда о целесообразности его использования без упаковки хвостов. Ведь есть xfs. Эго так просто не свалишь. На xfs я вообще не видел никаких проблем.

Аватар пользователя Cherepulya

Re: Обзор вопросов, обсуждавшихся на конференции The 2006 Li

Вызовы для разработчиков файловых систем Linux, вызываемые развитием железа, не могут быть пройдены простым эволюционным развитием и требуют нетривиальных решений. Объём дисков вскоре превысит терабайтную границу и уровень ошибок чтения/записи поставит под вопрос текущие способы борьбы с этим непрятным явлением (текущие реализации fsck, журналирование...). В обзоре описаны слабости текущих подходов и выработанный набор идей, которые могут помочь решить проблемы.

Взято с http://www.linux.org.ru/view-message.jsp?msgid=1506610

И там очень здраво высказана мысль что уже в ходу 700гиговые накопители. И скоро будут на несколько терабайт. А ext3 свой чек проводит ужасающе долго. Малейший сбой на разделе (массиве) больше полутерабайта - и ждать прийдется ОООЧЕНЬ долго. А если это произойдет на боевом сервере посреди рабочего дня - админу можно вешатся. Быстрее будет отформатить все заново и раскатать с бэкапа. Поэтому на серверах при современных размерах томов использование ext3 (ИМХО) противопоказано.

Аватар пользователя alex_root

Re: Новый винчестер и тестирование фс

Cherepulya,
Всё здорово, но не понятно почему в Курилке? Может как новость оформишь, или куда перекинуть тему?

Аватар пользователя keng00ru

Re: Новый винчестер и тестирование фс

Ага. Что, вообщем-то и требовалось доказать. В очередной раз результаты тестов нам доказывают, что "Каждому - своё". И пока не будет убедительных результатов, что RaiserFS хотя бы также стабильна, как и Ext3, в качестве корневой ФС у меня будет стоять последняя. Благо, она не так много проигрывает. Ну, а для всяческих файлохранилищ XFS и правда подходит лучше всех.

Аватар пользователя woodoo

Re: Новый винчестер и тестирование фс

Не отражено: легкость восстановления системы в "нештатных" ситуациях - например из "консоли восстановления".
:-?

Аватар пользователя keng00ru

Re: Новый винчестер и тестирование фс

woodoo писал(а):
Не отражено: легкость восстановления системы в "нештатных" ситуациях - например из "консоли восстановления".

Не отражено: лёгкость разрушения системы в "нештатных" ситуациях - например при обрыве питания. ;-)

Аватар пользователя Cherepulya

Re: Новый винчестер и тестирование фс

woodoo писал(а):
Не отражено: легкость восстановления системы в "нештатных" ситуациях - например из "консоли восстановления".
:-?

У нас небыло такой постановки вопроса Улыбка

keng00ru писал(а):
Не отражено: лёгкость разрушения системы в "нештатных" ситуациях - например при обрыве питания. ;-)

Нету у меня сбоев питания. Даже дома UPS стоит. А ноутбуку в таких делах вообще все по шарабану.

alex_root писал(а):
Всё здорово, но не понятно почему в Курилке? Может как новость оформишь, или куда перекинуть тему?

Ну, я человек скромный, тематического раздела под это не подыскал, правила нарушать не хочу - потому и в курилке. Если хочется выложить это на сайте (в новостях там или где) - то всегда пожалуста. Разрешение на использование я даю.

Аватар пользователя Cherepulya

Re: Новый винчестер и тестирование фс

Цитата:
Cherepulya пишет:

woodoo писал(а):
Не отражено: легкость восстановления системы в "нештатных" ситуациях - например из "консоли восстановления".
:-?

У нас небыло такой постановки вопроса Улыбка

keng00ru писал(а):
Не отражено: лёгкость разрушения системы в "нештатных" ситуациях - например при обрыве питания. ;-)

Нету у меня сбоев питания. Даже дома UPS стоит. А ноутбуку в таких делах вообще все по шарабану.

alex_root писал(а):
Всё здорово, но не понятно почему в Курилке? Может как новость оформишь, или куда перекинуть тему?

Ну, я человек скромный, тематического раздела под это не подыскал, правила нарушать не хочу - потому и в курилке. Если хочется выложить это на сайте (в новостях там или где) - то всегда пожалуста. Разрешение на использование я даю.

Аватар пользователя lystor

Re: Новый винчестер и тестирование фс

Рекомендуется к прочтению тем, кто очень сильно уверен в стабильности reiserfs и XFS:
[Archivist's note: Although this file's title and much of ext2/ext3 designer/coder Ted T'So's postings (quoted below) specifically refer to ReiserFS, the substance of his critique applies equally to SGI's XFS. Accordingly, people favouring ReiserFS or XFS on commodity PC hardware should think long and hard before using those with data they care about — absent uninterruptable power supplies. (It's unknown whether IBM's JFS poses the same risks, but I think it very likely.)]

Date: Sun, 19 Dec 2004 22:54:02 -0500
From: "Theodore Ts'o"
To: [a mailing list]
User-Agent: Mutt/1.5.6+20040907i
Subject: Re: [evals] ext3 vs reiser with quotas

On Thu, Dec 16, 2004 at 02:50:45PM -0800, Rick Moen wrote:
> Quoting Nick Moffitt (nick@zork.net):
>
> > Tell me, is fsck.reiser still equivalent to mkfs.reiser?
>
> Pretty much. It's the closest thing to filesystem Lotto.

For a very good time, create a few dozen files containing images of ReiserFS filesystems on a ReiserFS (scratch) filesystem, and force an fsck.reiser. All of ReiserFS is a single B-tree, that can be anywhere on disk. So what fsck.reiser does is to search the entire disks for blocks that look vaguely like parts of the filesystem B-tree, and stitches them all together. Whee!!!!

- Ted

Date: Sun, 19 Dec 2004 23:10:09 -0500
From: "Theodore Ts'o"
To: [a mailing list]
User-Agent: Mutt/1.5.6+20040907i
Subject: Re: [evals] ext3 vs reiser with quotas

On Wed, Dec 15, 2004 at 01:31:13PM -0800, Sean Perry wrote:
> Net Llama! wrote:
> >I really have to ask what you were running when you had that FS
> >corruption. I've never seen anything like that, and i've been using XFS
> >for about 3 years now on over 15 different boxes.
> >
>
> Simple as pie. Set up a machine running XFS. Start some disk activity
> (maybe a test mail server). When the FS is getting solid activity, yank
> the power out. When I saw this happen I had to mkfs and start over.

What probably hit you here is caused by the very simple fact that PC-class hardware is crap.

You see, when you yank the power cord out of the wall, not all parts of the computer stop functioning at the same time. As the voltage starts dropping on the +5 and +12 volt rails, certain parts of the system may last longer than other parts. For example, the DMA controller, hard drive controller, and hard drive unit may continue functioning for several hundred of milliseconds, long after the DIMMs, which are very voltage sensitive, have gone crazy, and are returning total random garbage. If this happens while the filesystem is writing critical sections of the filesystem metadata, well, you get to visit the fun Web pages at http://You.Lose.Hard/ .

I was actually told about this by an XFS engineer, who discovered this about the hardware. Their solution was to add a power-fail interrupt and bigger capacitors in the power supplies in SGI hardware; and, in Irix, when the power-fail interrupt triggers, the first thing the OS does is to run around frantically aborting I/O transfers to the disk. Unfortunately, PC-class hardware doesn't have power-fail interrupts. Remember, PC-class hardware is cr*p.

Why doesn't ext3 get hit by this? Well, because ext3 does physical-block journaling. This means that we write the entire physical block to the journal, and only when the updates to the journal are committed do we write the data to the final location on disk. So, if you yank out the power cord, and inode tables get trashed, they will get restored when the journal gets replayed.

XFS and ReiserFS do what is called logical journaling. This means that if you modify the mod time of an inode, instead of writing the entire inode table block to the journal, they just write a note in the journal stating that "inode X now has a mod time of Y". This takes much less space, so you can pack many more journal updates into a single disk block. For filesystem benchmarks that try to saturate the filesystem's write bandwidth, and/or that also have very high levels of metadata updates, XFS and ReiserFS will tend to do much better than does ext3. Fortunately, many real-world workloads don't have this characteristic, which is why ext3 tends to perform just fine in practice in many applications, despite what would appear to be much worse benchmarks numbers, at least for some benchmarks.

The problem with logical journaling is that if you do have an unexpected power drop, and the storage system scribbles garbage on the inode table, there's no way to recover. In some cases, the only thing that is left to be done is mkfs and restore from backups. (Backups? You do keep backups, right?)

The practical upshot of this is that if you use XFS or ReiserFS, and you are on crappy PC-class hardware, you ***MUST*** have a UPS, and use a serial/USB cable, so that system can do a graceful shutdown when the UPS's batteries are exhausted.

This issue is completely different from the XFS issue of zeroing all open files on an unclean shutdown, of course. Having a UPS won't save you from that particular XFS misfeature. The reason why it is done is to avoid a potential security problem, where a file could be left with someone else's data. Ext3 solves this problem by delaying the journal commit until the data blocks are written, as opposed to trashing all open files. Again, it's a solution that can impact performance, but at least in my opinion, for a filesystem, performace is Job #2. Making sure you don't lose data is Job #1.

Аватар пользователя lystor

Re: Новый винчестер и тестирование фс

Цитата:
А ext3 свой чек проводит ужасающе долго. Малейший сбой на разделе (массиве) больше полутерабайта - и ждать прийдется ОООЧЕНЬ долго.

Я так понял, что это единственный довод против ext3.
Если вам не нравится долго ждать - на курсах RHEL рекомендуют выключать данную проверку при помощи tune2fs, т.к. журнала для восстановления обычно хватает.

Аватар пользователя lystor

Re: Новый винчестер и тестирование фс

Цитата:
Cherepulya пишет:
Нету у меня сбоев питания. Даже дома UPS стоит. А ноутбуку в таких делах вообще все по шарабану.

Или я по жизни невезучий или не все так хорошо, как расписывают с XFS...
Раньше сидел на XFS и всем говорил, что лучшая ФС до недавнего времени.
Упал у меня XFS на ноутбуке (в котором "все по шарабану") при очистке каталога. Причем упал один раз и навсегда с потерей всех данных, находящихся на нем. xfs_repair не помог.

Аватар пользователя lystor

Re: Новый винчестер и тестирование фс

Вывод, который я сделал для себя - только ext3, где это возможно (к сожалению, ext3 пока не поддерживает ACL).
Ну а кому хочется получить 2-5% быстродействия в ущерб целостности данных - reiserfs и т.д. - выбирать есть из чего, только потом не жалуйтесь.

Аватар пользователя lystor

Re: Новый винчестер и тестирование фс

По поводу результатов теста не согласен. Когда-то для себя измерял и получал такой результат, что reiserfs > XFS > vfat > ext3.
Но разница между reiserfs и XFS была ничтожно мала (1-2%).

Аватар пользователя lystor

Re: Новый винчестер и тестирование фс

P.S. Кто не знает - кто такой Theodore Ts'o - автор ext3.

Аватар пользователя sergeil

Re: Новый винчестер и тестирование фс

lystor писал(а):
Ну а кому хочется получить 2-5% быстродействия в ущерб целостности данных - reiserfs и т.д. - выбирать есть из чего, только потом не жалуйтесь.

+1

Аватар пользователя alex_root

Re: Обзор вопросов, обсуждавшихся на конференции The 2006 Li

Всё сводица к "ИМХО". У кого что "упало" - тот то и критикует. Reiser использую не первый год под систему - пока ничего страшного небыло.

Аватар пользователя Cherepulya

Re: Обзор вопросов, обсуждавшихся на конференции The 2006 Li

Мой опыт использования ФС (десктопы и сервера). XFS - не видел падений. ReiserFS - видел порчу маленьких файлов при аварийном завершении работы во время работы с этими файлами. EXT3 - видел МНОГОКРАТНОЕ (!!!) падение фс полность. Так что восстановить оттуда мало что получалось.

Выводы делайте сами Улыбка

Кроме того ext3 подустарел. Он был хорошо когда-то. Но время на месте не стоит. Поддержка больших томов где? Про фичи вроде acl молчу даже.

Кроме того тот, кто говорит про 2-5% превосходства reiser над ext3 передергивает факты. Я верю своим глазам. И вижу с некоторыми операциями (в основном с мелкими файлами) превосходство начиная с несколких раз до превосходства на порядок. Сам RH настоятельно советует использовать райзер для таких вещей как раздел кеша сквида и прочее.

Когда заведете сильно нагруженный IMAP-сервер с кучей почты для кучи пользователей - очень сильно ощутите разницу в использовании этих двух ФС.

Насчет надежности - а почему у меня ext3 так часто сыпется? (на UPSах) Улыбка Кроме того регулярные бэкапы были, есть, и будут. :friends:

Аватар пользователя lystor

Re: Обзор вопросов, обсуждавшихся на конференции The 2006 Li

Цитата:
Сам RH настоятельно советует использовать райзер для таких вещей как раздел кеша сквида и прочее.

[lystor@satellite2 ~]# cat /etc/issue
Red Hat Enterprise Linux ES release 4 (Nahant)
Kernel \r on an \m

[lystor@satellite2 ~]# cat /etc/filesystems
ext3
ext2
nodev proc
nodev devpts
iso9660
vfat
hfs

Думаю комментарии излишни...

Цитата:
Насчет надежности - а почему у меня ext3 так часто сыпется? (на UPSах) Улыбка

Переговорил с админами 3 провайдеров Донецка - с их слов ext3 падал крайне редко и всехда удавалось все спасти, XFS падал чаще, иногда безвозвратно, про reiserfs положительных отзывов не услышал - ни на одном назделе ни у кого не стоит и стоять не будет...

Цитата:
Кроме того регулярные бэкапы были, есть, и будут. :friends:

Ну это святое

Аватар пользователя McStar

Re: Обзор вопросов, обсуждавшихся на конференции The 2006 Li

У меня опыт в этом деле маленький, но для рутового раздела у меня на додмашней машине стоит рейзер. На сервере тоже. Для директирии home - ext3. Reiser работает значительно быстрее ext3. Падений пока ниегде не было. Тьфу, тьфу. Улыбка

RSS-материал