Скорость софт-рейда0 на mdadm

[Yuriy]

Доброго времени суток.
Ubuntu 8.04 server( 2.6.24-21-server x86_64 GNU/Linux)
mb gigabyte k8n-e(soc 754,ddr1,sata-nvidia4,pci-e.),
sempron 3000 процессор,
HDD:/dev/sda: SAMSUNG HD501LJ
/dev/sdb: WDC WD7500AYYS-01RCA0
/dev/sdc: WDC WD7500AYYS-01RCA0
power fsp400pnf
Lan intel 1000+pro pci-e desctop
512 mb DDR1. Машина используется в качестве домашнего фтп-сервера. Демон- vsftpd.
На /dev/sda 3 раздела- система, хом дириктори и раздел под файлы ftp-сервера. Система и хомдира -reiserfs, под файл-xfs (файлы весом от 1гб)
Оставшиеся 2 винчестера раньше имели по разделу в файловой системе xfs. Скорость скачки по сети\записи на другой винчестер была в пределах 60000-90000.Запись чуть ниже.
Слил с WDшек информацию для объединения их в софтовый рейд0.Создал рейд с помощью mdadm, фс-xfs, все те же прежние и большие по размеру файлы. К моему удивлению скорость чтения и записи при тех же манипуляциях осталось примерно такой же.hdparm же говорит иначе: если до поднятия рейда timing cached reads ~=85MB\sec, то сейчас порядка 100MB\sec, timing buffered disk reads был 470MB\sec, то сейчас ~=600.
Смонтированные файловые системы:
/dev/sda2 / reiserfs notail,relatime 0 1
/dev/sda5 /home reiserfs relatime 0 2
/dev/sda6 /mnt/1_sda6 xfs relatime,noexec 0 2
/dev/sda1 none swap sw 0 0
/dev/md0 /mnt/raid0 xfs relatime,noexec 0 2
/mnt/raid0/Games /home/ftp/net/Games none bind 0 0
/mnt/raid0/Cinema /home/ftp/net/Cinema none bind 0 0
/mnt/1_sda6/Music /home/ftp/net/Music none bind 0 0

mdadm:
mdadm --detail /dev/md0
/dev/md0:
Version : 00.90.03
Creation Time : Fri Nov 7 09:45:08 2008
Raid Level : raid0
Array Size : 1465143808 (1397.27 GiB 1500.31 GB)
Raid Devices : 2
Total Devices : 2
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Wed Dec 24 22:12:12 2008
State : active
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0

Chunk Size : 64K

UUID : f627af2d:e61cc144:1c7aa044:e01dc78c (local to host mars)
Events : 0.17

Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1
Что я неправильно делаю или что у меня в системе является узким местом?
P.S. Есть еще один WD7500AYYS. Есть желание объединить 3 устрйоства в рейд5, если, конечно, станут ясны мои проблемы со скоростью.

[Llama]

hdparm же говорит иначе: если до поднятия рейда timing cached reads ~=85MB\sec, то сейчас порядка 100MB\sec, timing buffered disk reads был 470MB\sec, то сейчас ~=600.

timing cached reads мусіць быль значна большым.

Код: Выделить всё

/dev/md1:
 Timing cached reads:   544 MB in  2.00 seconds = 271.92 MB/sec
 Timing buffered disk reads:  300 MB in  3.01 seconds =  99.80 MB/sec

Гэта праклад з дэсктопа - Promise FT 300 TX2 на PCI32/33

Raid0, 2xHDT722516DLA380

Код: Выделить всё

decs:/tmp# dd if=/dev/zero of=bigfile bs=128M count=12
12+0 запісаў уайшло
12+0 запісаў выйшла
1610612736 байтаў (1,6 GB) скапіявана, 22,4696 c, 71,7 MB/c
decs:/tmp# dd if=/dev/zero of=bigfile bs=16M count=96
96+0 запісаў уайшло
96+0 запісаў выйшла
1610612736 байтаў (1,6 GB) скапіявана, 22,3104 c, 72,2 MB/c

reiserfs, chunk size=64k

[Yuriy]

Да, действительно, значения timing cached reads и timing buffered disk reads я при написании поста местами перепутал.
Сейчас сравнил значения WDшек в рейде с самсунгом синглмод (сами по себе эти вдшки быстрее самсунгов- RAID Edition2,Установившаяся скорость передачи данных,заявленная производителем,до 98 МБ/сек):
/dev/sda:
Timing buffered disk reads: 246 MB in 3.01 seconds = 81.84 MB/sec
/dev/md0:
Timing buffered disk reads: 342 MB in 3.00 seconds = 113.85 MB/sec


/dev/sda:
Timing cached reads: 1204 MB in 2.00 seconds = 601.62 MB/sec
/dev/md0:
Timing cached reads: 1212 MB in 2.00 seconds = 605.74 MB/sec

/mnt/raid0# dd if=/dev/zero of=bigfile bs=128M count=12
12+0 records in
12+0 records out
1610612736 bytes (1,6 GB) copied, 9,86863 s, 163 MB/s
/tmp# dd if=/dev/zero of=bigfile bs=128M count=12
12+0 records in
12+0 records out
1610612736 bytes (1,6 GB) copied, 20,3977 s, 79,0 MB/s
/mnt/raid0# dd if=/dev/zero of=bigfile bs=16M count=96
96+0 records in
96+0 records out
1610612736 bytes (1,6 GB) copied, 9,6777 s, 166 MB/s
/tmp# dd if=/dev/zero of=bigfile bs=16M count=96
96+0 records in
96+0 records out
1610612736 bytes (1,6 GB) copied, 19,9322 s, 80,8 MB/s
tmp -reiser,chunk size=64k
/mnt/raid0 -xfs,chunk size=64k
Слаживается впечатление, что когда не один процесс пытается читать большой объем данных, а несколько, то скорость падает гораздо в большей степени, чем n (n=кол-во таких вот процессов). Такого без рейда не припомню...Когда сливал информацию с wdшек на такие же вдшки, то скорость была больше, чем впоследствии при сливании с них на wdшки уже в рэйде.
Сам sata контроллер (nforce 4 ultra) висит на pci-e шине, поддерживает ncq и работает в режиме sata300.
Задача- получить максимально возможную скорость, ибо основной смысл машины- файлообменник, доступный части пользователей на скорости в 1гбит.

[Llama]

Слаживается впечатление, что когда не один процесс пытается читать большой объем данных, а несколько, то скорость падает гораздо в большей степени, чем n (n=кол-во таких вот процессов).

Конечо, именно по этому 7200RPM в приличных хранилищах не используют.

Такого без рейда не припомню...Когда сливал информацию с wdшек на такие же вдшки, то скорость была больше, чем впоследствии при сливании с них на wdшки уже в рэйде.

Не совсем понятно, что тут имелось ввиду. От самого RAID'а линейная скорость записи уж точно не поменялась. Линейное чтение - так же быстрее для RAID0 по ваши же тестам.
Вообще, а ругемнт вида "неприпомню" - очень зреновый, т.к. слишком уж часто организм воспринмает желаемое за действительное.

Сам sata контроллер (nforce 4 ultra) висит на pci-e шине, поддерживает ncq и работает в режиме sata300.
Задача- получить максимально возможную скорость, ибо основной смысл машины- файлообменник, доступный части пользователей на скорости в 1гбит.

Если пользователей более одного - то "разгоняйте" hdd, ну и оперативной памяти надо попробовать хотя бы 2, а лучше 4 Gb - на скорости записи должно сказаться положительно, да и в случае с чтением поможеш, если бзера пользую многопоточные качалки всякие.

Пока что ухудшение производительности в RAID только на уровне ваших ощущений...