Реферат: НМС для серверных системных плат
Все наборы микросхем Grand Champion строятся по модульному принципу и составляются по большей части из одинаковых компонентов. Этим они в немалой степени напоминают НМС Intel E8870, о котором будет рассказано ниже. Также, как и Е8870, каждый НМС Grand Champion имеет ключевую микросхему, коммутирующую потоки данных между ЦП, памятью и дополнительными устройствами — CMIC (Memory Interface Controller). К ней подключаются контроллеры памяти REMC, мосты ввода-вывода CIOB (Input/Output Bridge) и аналог «южного моста» — контроллер дополнительных интерфейсов CSB (South Bridge).
Флагман модельного ряда — набор микросхем Grand Champion HE (аббревиатура НЕ обозначает, судя по всему, High-End) предназначен для построения двух-или четырехпроцессорных систем на базе Xeon. Его ядро, микросхема CMIC-HE, имеет 400-МГц системную шину и позволяет подключить до четырех процессоров Intel Xeon MP. Она соединяется с четырьмя контроллерами памяти DDR200 (благодаря технологии чередования каналов они позволяют получить реальную пропускную способность, близкую к теоретическому максимуму — 6,4 Гбайт/с) и дает возможность использовать до 64 Гбайт памяти. Кроме того, CMIC-HE оснащена тремя фирменными 1,6-Гбайт/с интерфейсами IMB (Inter-Module Bus), через которые к микросхеме подключаются контроллеры СIOВ*Х (каждый из них обеспечивает два 64-бит 100-М Гц канала PCI-X), и одним интерфейсом Thin-IMB для связи с микросхемой CSB6. Последняя отвечает за работу 64-бит шины PCI 2.2, трех каналов АТА, контроллера USB (до четырех портов) и некоторых сервисных интерфейсов (клавиатура, мышь, VGA) и функций (мониторинг и управление системой электропитания).
НМС Grand Champion LE (Low-End) используется в системных платах для двухпроцессорных серверов младшего уровня. Микросхема CMIC-LE имеет 533-МГц системную шину, ее пропускная способность 4,3 Гбайт/с. Число каналов памяти уменьшено вдвое, контроллеры позволяют использовать память DDR266, так что производительность подсистемы памяти соответствует системной шине — 4,1 Гбайт/с. Максимальный объем ОЗУ у этого НМС 16 Гбайт.
Расширяемость системы несколько ниже, чем у НМС Grand Champion HE — микросхема CMIC-LE оснащена только двумя интерфейсами 1MB и одним Thin-IMB. Однако пропускная способность интерфейсов 1MB вдвое выше — 3,2-Гбайт/с каждый, а, кроме того, в состав НМС входят более современная версия моста ввода-вывода СЮВ-Х2, обеспечивающая работу двух 64-бит каналов PCI-X с частотой до 133 МГц, и универсальный контроллер СЮВ-Е, отвечающий за работу еще одной 133-МГц шины PCI-X и двух 1-Гбит/с Ethernet-портов. «Южный мост» системы не отличается от используемого в Grand Champion HE, его функции также выполняет микросхема CSB6.
Третий НМС семейства — Grand Champion SL, это упрощенная версия модификации LE. Микросхема CMIC-SL имеет только один 2,1-Гбайт/с канал памяти, максимальный объем ОЗУ ограничен 8 Гбайт. До одного сокращено и количество интерфейсов 1MB, так что в состав НМС может входить только один из двух доступных мостов ввода-вывода.
Наиболее заметное достоинство НМС семейства Grand Champion, помимо масштабируемости и сбалансированности системы, — это средства RAS (Reliability, Availability, Serviceability, надежность, доступность, простота обслуживания), выполняющие функции защиты от ошибок памяти, контроль ЕСС, автоматическое отключение неисправных модулей памяти и даже (в модификации Grand Champion HE) «горячую» замену модулей памяти.
Itanium
Intel E8870. Для самых высокопроизводительных процессоров Intel, Itanium 2, предназначен набор микросхем Е8870, построенный по модульной архитектуре, благодаря чему он обладает такими преимуществами, как масштабируемость (используя компоненты Е8870, можно строить системы самого разного уровня) и высокая степень унификации (в НМС Е8870 использованы компоненты от более простых наборов микросхем, но они не становятся «узким местом» системы). Основная идея, реализованная в Е8870, — организация высокоскоростных каналов, соединяющих основные компоненты системы.
Ядро системы — микросхема Е8870 (SNC, Scalable Node Controller), отвечающая за связь процессоров с остальными компонентами системы. Микросхема SNC оснащена 6,4-Гбайт/с процессорной шиной и позволяет подключить до четырех процессоров Itanium 2 на общей шине. Кроме процессорной шины микросхема SNC оснащена четырьмя интерфейсами для подключения контроллеров памяти. Пропускная способность каждого интерфейса — 1,6 Гбайт/с, соответственно суммарное значение для всех четырех шин 6,4 Гбайт/с, т. е. равно пропускной способности процессорной шины. Функции контроллеров памяти выполняют микросхемы E8870DH (DMH, DDR Memory Hub), каждая из них контролирует два канала памяти DDR. Максимальное количество модулей памяти, подключаемых к DMH, — восемь, соответственно всего к микросхеме SNC через четыре контроллера DMH может быть подключено 32 модуля, что при использовании 2-Гбайт модулей составит 64 Гбайт. Применение контроллеров DMH, помимо высокого уровня масштабируемости ОЗУ, позволяет значительно сократить задержки при работе с большими объемами памяти, благодаря наличию четырех независимых каналов.
В набор интерфейсов микросхемы SNC входят также два порта SP (Scalability Port) — двунаправленные интерфейсы, пропускная способность которых в каждом направлении 3,2 Гбайт/с, суммарная для двух двунаправленных портов SP — 12,8 Гбайт/с. Используются эти порты для подключения микросхем Е8870IО (SIOH, Server Input/Output Hub), к каждому порту SP может быть подключена одна такая микросхема. Задача узла ввода-вывода SIOH — обеспечить подключение оставшихся двух компонентов набора микросхем — контроллеров Р64Н2 и ICH4 (подробно описанным выше). Микросхема SIOH оснащена четырьмя интерфейсами Hub Interface 2.0 и одним — Hub Interface 1.5, и к ней может быть подключено до четырех контроллеров Р64Н2 и один ICH4. Теоретически каждый контроллер SNC может быть соединен с двумя узлами ввода-вывода, что позволяет оснастить систему на НМС Е8870 шестнадцатью каналами PCI-X.
Таким образом, состоящий из пяти компонентов НМС Е8870 можно логически разделить на две части: систему взаимодействия ЦП и ОЗУ и систему ввода-вывода. Как было показано выше, обе они отличаются высокой степенью масштабируемости, а в подсистему ввода-вывода, благодаря универсальным интерфейсам Hub Interface, входят контроллеры, применяемые и в НМС для менее мощных систем.
HP zxl. Компания Hewlett-Packard — основной партнер Intel в области разработки 64-бит процессоров Itanium и один из крупнейших поставщиков серверов высокого уровня, построенных на базе этого процессора. Инженеры HP разработали два фирменных набора микросхем, предназначенных для этого ЦП.
Наиболее распространен НМС zxl, предназначенный для построения двух- или четырехпроцессорных систем (о наборе sxlOOO, разработанном для создания систем с числом ЦП до 128, будет рассказано ниже).
Базовая комплектация zxl состоит всего из двух микросхем — zxl MIO (Memory & Input/Output Controller, контроллер памяти) и zxl IOA (Input/Output Adapter, контроллер ввода-вывода). Контроллер памяти zxl MIO оснащен 6,4-Гбайт/с процессорной шиной и позволяет использовать два или четыре процессора Itanium 2 на общей шине. В микросхеме zxl IOA предусмотрены контроллеры шин PCI и PCI-X, интерфейсы AGP и АТА. К центральной микросхеме zxl MIO может быть подключено до восьми контроллеров ввода-вывода, суммарная пропускная способность каналов, соединяющих их с zxl MIO, 4 Гбайт/с.
Память подключается к zxl MIO либо напрямую (имеется контроллер памяти DDR266), либо через микросхемы zxl SME (Scalable Memory Expander, масштабируемый интерфейс памяти). К двум 6,4-Гбайт/с интерфейсам может быть подключено до двенадцати микросхем zxl SME, максимальный объем ОЗУ 96 Гбайт.
Более четырех процессоров, коммутируемые системы
Opteron
AMD 8000. Архитектура набора микросхем AMD 8000, состоящего «всего» из трех компонентов, но позволяющего создавать вычислительные системы с количеством процессоров от одного до восьми, весьма необычна. Объясняется это тем, что, в отличие от большинства распространенных серверных ЦП, процессоры Opteron имеют встроенные средства для создания многопроцессорных систем. Каждый ЦП Opteron может иметь до трех встроенных контроллеров шипы HyperTransport, с помощью которых он напрямую подключается к другим процессорам. Контроллер памяти и коммутатор также встроены непосредственно в процессорное ядро, и с некоторой долей условности можно сказать, что для создания симметричной многопроцессорной системы с процессорами Opteron вовсе не нужны дополнительные микросхемы (подробнее см. «Процессоры»). Тем не менее это, разумеется, не так: последние необходимы для организации подсистемы ввода-вывода.
Как отмечалось выше, набор микросхем AMD 8000 состоит из трех компонентов. В качестве основной связующей шины применяется интерфейс HyperTransport, а две микросхемы из трех — AMD 8151 и AMD 8131 — представляют собой HyperTransport-туннели. Первая микросхема, AMD 8151, выполняет функции AGP-контроллера, помимо двух интерфейсов HyperTransport (16x16, 6,4 Гбайт/с) она оснащена интерфейсом AGP 8Х для подключения высокопроизводительных графических адаптеров. Однако необходимо отметить, что в системных платах для серверов она, как правило, не используется, а применяется при построении мощных рабочих станций. Вторая микросхема, AMD 8131, также HyperTransport-туннель, но несимметричный: один из двух интерфейсов HyperTransport, которыми оснащена AMD 8131, имеет меньшую ширину, тактовую частоту и соответственно пропускную способность — 800 Мбайт/с. Помимо интерфейсов HyperTransport, AMD 8131 оснащена двухканальным контроллером 64-бит 133-МГц шины PCI-X. Недавно компания AMD представила обновленную версию этой микросхемы — AMD 8132. У нее более высокопроизводительный интерфейс 1-ГГц HyperTransport (16x16, 8 Гбайт/с) и усовершенствованный PCI-X-контроллер, который может работать на частоте до 266 МГц.
Третья микросхема, AMD 8111, играет роль «южного моста» и отвечает за работу шины PCI, интерфейсов USB, ATA, портов 10/100-Мбит/с Ethernet, имеет только один контроллер HyperTransport с пропускной способностью 800 Мбайт/с и не может быть подключена к ЦП напрямую, а только через микросхему AMD 8131.
Itanium
Intel E887OSP. Модульная архитектура набора микросхем Е8870, о котором подробно рассказано выше, позволяет использовать его компоненты для создания более сложных — восьмипроцессорных серверных систем. Однако для получения симметричной многопроцессорной системы (SMP) невозможно просто соединить с помощью портов SP две микросхемы SNC — в этом случае микросхемам SNC придется решать задачи управления потоками данных, направленных к локальным и удаленным вычислительным ресурсам. Очевидно, что эти механизмы не были реализованы в НМС Е8870, предназначенном для более простых систем.
Решением этой проблемы стал дополнительный коммутатор E8870SP (SPS, Scalability Port Switch). Эта микросхема оснащена четырьмя 6,4-Гбайт/с двунаправленными интерфейсами SP и применяется для объединения двух НМС Е8870 в одну восьмипроцессорную систему. Точнее, для организации симметричного восьмипроцессорного НМС требуется два таких коммутатора.
Микросхема SPS выполняет две основные функции — перенаправляет потоки данных к «строительным блокам» набора микросхем и от них, а также обеспечивает когерентность памяти. Микросхема оснащена специальными высокоскоростными внутренними шинами (bypass busses), которые позволяют критичным для поддержания когерентности ОЗУ данным вне очереди достигать контроллеров памяти SNC. На рисунке изображена схема каналов данных в наборе микросхем E887OSP. Видно, что для каждого SNC контроллеры Р64Н2 логически равноудалены, вследствие чего обращение к любому из них для SNC происходит одинаковым образом.
Параметры НМС E8870SP — это по сути удвоенные характеристики набора Е8870 — к «каждому SNC по 400-МГц системной шине с пропускной способностью 6,4 Гбайт/с подключается по четыре процессора Intel Itanium 2. Общее количество контроллеров памяти DMH в системе восемь, что позволяет довести максимальный объем ОЗУ до 248 Гбайт! Вдвое (до восьми) по сравнению с Е8870 увеличено и максимальное число контроллеров Р64Н2, каждый из которых обеспечивает работу двух каналов PCI-X.
Как и в случае с Е8870, набор микросхем E887OSP можно логически разделить на две части: вычислительную подсистему и подсистему ввода-вывода. Суммарная пропускная способность каналов данных, соединяющих две эти подсистемы, достигает 25,6 Гбайт/с.
IBM Summit (XA-32, XA-64). IBM Summit — это фирменное название не одного, а двух наборов микросхем: ХА-32 и ХА-64, предназначенных для 32-бит процессоров Intel Xeon и 64-бит Itanium. Однако у этих НМС практически одинаковая архитектура.
В самый простой вариант Summit (НМС ХА-32 для четырехпроцессорных систем) входит две микросхемы: контроллер памяти, имеющий два канала для подключения памяти и два — для связи с мостами ввода-вывода. К последним могут быть подключены адаптеры PCI-X (64-бит, 133 МГц) или универсальный контроллер ввода-вывода, содержащий коммуникационные средства (1-Гбит/с Ethernet), дисковые интерфейсы (Ultral60 SCSI) и пр.
Расширенный вариант НМС (ХА-32 и ХА-64 для серверов с более чем 4 процессорами) позволяет создавать более сложные системы — в него входит контроллер шины расширения и кэша L4. Этот контроллер оснащен тремя портами для связи с другими модулями (комплект контроллеров, обслуживающих ОЗУ и до четырех ЦП, называется в терминологии IBM «SMP expansion module»), суммарная пропускная способность этих портов 3,2 Гбайт/с. Системы на основе НМС Summit масштабируются увеличением количества модулей расширения.
Наиболее интересное техническое решение, реализованное в НМС IBM Summit, — наличие встроенного в набор контроллера кэш-памяти L4. Контроллер кэша L4 самостоятельно (без участия ЦП) помещает данные из ОЗУ в более быстрый буфер, в который и перенаправляются запросы от процессора к памяти. В случае верного предсказания это заметно ускоряет обмен данными ЦП с ОЗУ, что важно для Intel-систем, использующих общую процессорную шину.
HP sx1000. Этот НМС позволяет создавать системы самого разного уровня — от 4 до 128 процессоров. Он предлагает такие функции, как RAS и управление когерентностью кэшей.
В основе НМС sxl000 лежит использование так называемых процессорных ячеек (socket cell), каждая из которых содержит набор шин для подключения четырех ЦП Itanium 2 или РА-8700/8800, четырех контроллеров памяти (максимальное количество модулей памяти, используемых одной ячейкой, 32, предельный объем памяти 64 Гбайт) и шестнадцатиканального контроллера шины PCI-X. Примечательно, что, в отличие от НМС предыдущего поколения, Yosernite, процессорная ячейка строится не по топологии «точка—точка», а по схеме с двумя общими шинами — по два ЦП на каждой. Процессорные ячейки соединяются напрямую (восьмипроцессорная система) или через крестовой коммутатор (crossbar switch). Использование коммутатора позволяет масштабировать НМС (до 16 процессорных ячеек), сохраняя симметричность системы.
Список литературы
Журнал Upgrade4_08_05
