AMD NUMA

[Llama]

Кто-нибудь видел сабж в реальной жизни? Оно вообще работает?

[invox]

Тебе руками надо попробовать или достаточно картинок:
http://images.google.com/images?q=amd+numa
?
А на ixbt два-три года назад исследования производительности разных конфигураций были. Погугли.

Или о чем был вопрос, в каком контексте?

[chuck]

Кто-нибудь видел сабж в реальной жизни? Оно вообще работает?

C осени 2006 года системы коммерчески продаются. Вообщем, у некоторых вендоров достаточно успешно.
А что не так собственно?

[Llama]

Я пытаюсь понять - NUMA работает на любой AMD64-системе с 2+ процессорами, ванильное ядро достаточно умное само в дистрибутивах, либо надо пересборку устраивать, как дружат Numa гипервизоры - ну и т.п.
Пока что планируется Dell 2970 с 2xOpteron 2376

[invox]

Вроде не маленький уже... с чего ты взял, что любимый дистрибутив будет работать под выбраной железкой?
Отталкивайся от того, что написано в документации к железу. Из linux'ов, обычно, указывают только RHEL || SLES,
а там ядра далеко не ванильные.

[Llama]

Вроде не маленький уже... с чего ты взял, что любимый дистрибутив будет работать под выбраной железкой?

Не будет работать - будет другая железка. Но вообще, потроха там стандартные для железок такого класса.

Отталкивайся от того, что написано в документации к железу. Из linux'ов, обычно, указывают только RHEL || SLES

Ну на заборе тоже много что написано. В случае Dell я убедился - можно купить у них несколько сотен набитых под завязку серверов с поддержкой, огрести проблем с поддерживаемым дистрибутивом влияющих непосредственно на качество работы и дальше трахаться несколько месяцев самостоятельно с вялыми репликами от саппорта типа "у нас тут новый драйвер/фирмварь, попробуйте - а вдруг...". И это все в USA.

а там ядра далеко не ванильные.

Ну есть масса причин устанавливать Debian Lenny и не использовать для моей задачи RHEL/SLES, и несовместимые ядра - одна из них.

Я просто пытаюсь понять - NUMA в Linux/amd64 это нечто настолько само сабой разумеющееся, что про него даже не считают нужным писать?
Т.е для любой другой технологии (например, HyperThreading) в гугле есть масса всякого материала с ранних этапов внедрения типа ругани в lkml, советов в духе "попробуйте отключить HT в BIOS" и т.п. Есть технология - должны быть проблемы хотя бы в духе "у меня на 2.6.xx-mm10 не включается половина памяти и второй процесоор - почините все обратно", и должны быть способы решения.
Проблема с NUMA для меня заключается в отсуствии специфического контента в гугле. Складывается ровно два вывода:
Либо все настолько хорошо и распостранено, что вопросы о NUMA никого не беспокоят, либо технология ушла куда-то настолько далеко от реальностей SMB, что интереса для меня представлять не может.

[invox]

Но вообще, потроха там стандартные для железок такого класса.

Ты несколько заблуждаешься. В брэндовых серверах много своего.
Даже в entry-level есть "необщие моменты". Соответственно, не всякий linux с лету заведется.
Из простых серверов я ставил Debian на HP (DL150, DL380) пару лет назад, возможно,
на "одноклассниках" из Dell будет похожая ситуация. Но надо пробовать, т.к. я пытался на
каком-то аналоге из Fujitsu-Siemens тогда же завести Alt-linux, узнал много нового.

А если будешь рассматривать железо посерьезнее, то вариантов с linux останется еще меньше - RHEL/SLES.

Ну на заборе тоже много что написано. В случае Dell я убедился - можно купить у них несколько сотен набитых под завязку серверов с поддержкой, огрести проблем с поддерживаемым дистрибутивом влияющих непосредственно на качество работы и дальше трахаться несколько месяцев самостоятельно с вялыми репликами от саппорта типа "у нас тут новый драйвер/фирмварь, попробуйте - а вдруг...". И это все в USA.

Пробуй виртуализацией побаловаться, ставить платный VMWare базовой ОС и поверх него уже linux'ы.
Правда, в твоем случае это будет малорентабельно, такой подход окупается при более серьезных
аппаратных ресурсах.

Т.е для любой другой технологии (например, HyperThreading) в гугле есть масса всякого материала с ранних этапов внедрения типа ругани в lkml, советов в духе "попробуйте отключить HT в BIOS" и т.п. Есть технология - должны быть проблемы

Это подход, который работает в opensource, но не в проприетарных вещах.
Есть многочисленные внутренние ресурсы у IBM, Sun, Dell, которые не для всех сервисных инженеров
доступны, не говоря про индексацию Google'ом. На торговле правами доступа к таким материалам делаются деньги.

[Llama]

Из простых серверов я ставил Debian на HP (DL150, DL380) пару лет назад, возможно,
на "одноклассниках" из Dell будет похожая ситуация.

HP поддерживать Debian полуофициально.

Пробуй виртуализацией побаловаться, ставить платный VMWare базовой ОС и поверх него уже linux'ы.
Правда, в твоем случае это будет малорентабельно, такой подход окупается при более серьезных
аппаратных ресурсах.

Я буду баловаться, только это будет стоковый Xen поверх базового линукса.

Это подход, который работает в opensource, но не в проприетарных вещах.
Есть многочисленные внутренние ресурсы у IBM, Sun, Dell, которые не для всех сервисных инженеров
доступны, не говоря про индексацию Google'ом. На торговле правами доступа к таким материалам делаются деньги.

[/quote]

Но мы ведь ведем речь об открытой реализованой в Linux (и не только в нем) технологии (вроде бы) общедоступной.

Собственно я и пытаюсь получить ответ: AMD NUMA реализована повсеместно, либо только в избраных пропиетарных решениях?

Тебя все уносит в сторону тяжелых машин и кровавого ентерпрайза с пропиетарными поделками.
А мне надо простой восьмиядерник под Debian LAMP.

[invox]

HP поддерживать Debian полуофициально.

так бери железяку HP и экспериментируй. Аналог DL380 на AMD - это DL385
Или у тебя привязка именно к Dell?

Я буду баловаться, только это будет стоковый Xen поверх базового линукса.

Могу подсказать еще вариант - linux'ы в контейнерах Solaris.
Официально - RedHat и SuSE, но простейший google'жь показывает,
что и debian возможен - http://grahame.angrygoats.net/moinmoin/ ... and_Ubuntu
Сам - не пробовал на практике, такой нужды не было

Собственно я и пытаюсь получить ответ: AMD NUMA реализована повсеместно, либо только в избраных пропиетарных решениях?

NUMA - это реализовано железячно. О каком opensource может быть речь?

Сформулируй более общий вопрос, откуда выплыли сомнения в работоспособности в NUMA.
Может, станет более понятен контекст.

[Llama]

NUMA - это реализовано железячно. О каком opensource может быть речь?

NUMA - это термин.
MEM <-> CPU <-> CPU <-> MEM
В любой AMD системе более чем с одним процессром все выглядит именно так как я нарисовал - даже в самой дешовой MP-системе.
Вся что надо от OS - это грамотно распределять физическую память и шедулить процессы таким образом, чтобы каждый процесс пользовал свою память.
Кажется, слово "NUMA" на тебя оказывает гипнотиеческое влияние.

SMP на AMD64 не существует и для SMP-ОС - эмулируется.

Сформулируй более общий вопрос, откуда выплыли сомнения в работоспособности в NUMA.
Может, станет более понятен контекст.

Сомнения взялись от малого количества информацуионного шума на эту тему в гугле.
Я просто не понял - вышеописаное свойство ядра ОС в linux реализовано повсеместно, либо это все ушло в дебри высоких технологий.