На правах рукописи

Воробушков Василий Владимирович

ОБЕСПЕЧЕНИЕ ЦЕЛОСТНОСТИ СИГНАЛОВ ПРИ

РАЗРАБОТКЕ СОВРЕМЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ

УСТРОЙСТВ

Специальность 05.13.05 – элементы и устройства вычислительной

техники и систем управления

Автореферат диссертации на соискание ученой степени кандидата технических наук

Москва – 2011 г.

Работа выполнена в ЗАО "МЦСТ" и ОАО «ИНЭУМ им. И.С. Брука»

доктор технических наук, профессор

Научный руководитель:

Рябцев Юрий Степанович.

доктор технических наук, старший

Официальные оппоненты:

научный сотрудник Саморуков Вячеслав Владимирович, кандидат технических наук, старший научный сотрудник Груздов Федор Анатольевич ОАО «Институт точной механики и

Ведущая организация:

вычислительной техники им. С.А.

Лебедева», г. Москва

Защита диссертации состоится 2011 г. в час. _ мин. На заседании диссертационного совета Д.409.009.01 при ОАО «Институт электронных управляющих машин им. И.С. Брука» по адресу:

119991, г. Москва, ул. Вавилов, д. 24.

С диссертацией можно ознакомиться в библиотеке ОАО «ИНЭУМ им. И.С.

Брука».

Автореферат разослан 2011г.

Ученый секретарь диссертационного совета кандидат технических наук, Красовский В.Е.

профессор  

Общая характеристика работы

Актуальность проблемы Проблема обеспечения целостности сигналов (ЦС), предполагающая анализ причин их искажения и разработку методов устранения, неизменно играла существенную роль при проектировании вычислительной техники. За последние годы в связи с резким ростом производительности микропроцессоров и вычислительных комплексов, обусловившим переход на сигналы субнаносекундного диапазона, целостность сигналов (signal integrity) приобрела ключевое значение и стала предметом ряда основательных исследований и связанных с ними публикаций в зарубежной периодике. В отечественной практике подобная работа не была заметно развита из-за отсутствия необходимого для ее постановки проектного базиса.

Несомненную актуальность она получила только в последние годы, когда в стране стала постепенно расширяться сфера проектирования и производства высокопроизводительных вычислительных средств, в первую очередь связанная с задачей укрепления обороноспособности. В связи с этим необходимо отметить, что все представленные в диссертационной работе теоретические и конструкторские результаты были получены в рамках выполнения проектов по созданию высокопроизводительных микропроцессоров, процессорных модулей и вычислительных комплексов серии «Эльбрус», применяемых в системах государственного значения и имеющих показатели, которые сопоставимы с параметрами функционально аналогичных зарубежных изделий. Разработка устройств убедительно показала, что обеспечение целостности сигналов на должном уровне является необходимым условием устойчивого функционирования логически верно спроектированных устройств.

Рисунки 1а,б в обобщенной форме демонстрируют структуры, обеспечивающие подключение кристалла в современном компьютерном модуле. Кристалл распаивается на подложке по технологии Flip-Chip.

Подложка соединяется с многослойной печатной платой (МПП) посредством пайки (рис.1а) или через контактное устройство, сокет (рис.1б).

Рис. 1 Типовая структура в составе современного компьютерного модуля.

В кристалле микропроцессора проблема целостности сигналов комплексно решается с использованием современных САПР, например фирмы Synopsis. В части структуры, образованной подложкой и МПП, средства САПР основных производителей (Mentor Graphics, Cadence, Ansoft) такую возможность дают весьма ограничено. Это вызвано тем, что в данном случае конструкция и эквивалентная ей электромагнитная структура достаточно сложная. Множественные неоднородности в ней не позволяют создать универсальную компьютерную модель в составе единой САПР1.

С ростом пропускной способности шин передачи данных и частоты синхронизации радикально сократилась длительность фронта сигналов.

Раньше, когда она не была меньше 2 нс, вычислительные устройства обладали общей системой синхронизации, время распространения сигналов не превышало значительно их длительность, а сигналы при передаче практически не деформировались. Основная задача разработчика состояла в том, чтобы для устойчивой передачи сигналов выполнить требования к задержке передаваемых сигналов относительно синхросигнала. При этом, в случае необходимости, незначительное снижение частоты синхронизации поддерживало работоспособность устройства. Однако дальнейший рост производительности процессорной части и пропускной способности шин обусловил переход на сигналы субнаносекундного диапазона с длительностью фронта до 0,2 нс. Использование в каналах единого синхросигнала стало невозможно, отсюда появилось множество независимых, практически асинхронных интерфейсов, взаимодействие которых может носить непредсказуемый характер. Выход в более высокий частотный диапазон повлек проявление новых физических причин разрушения сигналов, таких как интерференция, скин-эффект, диэлектрические потери и прочих. Основной временной характеристикой интерфейсов стал разброс фаз фронтов сигналов (skew).

Используемые при проектировании вычислительных модулей идеализированные модели электромагнитных структур достаточно изучены, но их точная реализация приводит к значительному увеличению стоимости и сложности изделия. В результате, разработчикам приходится идти на ряд вынужденных отступлений, в частности, из-за большого количества номиналов электропитания разрезать экраны, формируя полигоны питания.

Разрезы экранов, неидеальные соединители создают область общей индуктивности в цепи обратных токов, которая может привести к кодозависимым ошибкам и увеличению взаимного влияния сигнальных цепей в МПП.

Из-за высокой плотности токов и сравнительно высокой индуктивности проводящих структур в подложках современных микропроцессоров, обозначенные проблемы существенно усугубляются.

                                                              Конструкция на рис. 1б отличается наличием контактирующего устройства (сокета), которое увеличивает индуктивность выводов микропроцессора. Методы анализа, в большинстве случаев, для обеих структур не различаются. В отдельных случаях проблемы, связанные с наличием сокета, будут отмечаться особо.  Поэтому в определенных случаях средства компенсации негативных эффектов, реализованных на МПП, не устраняют эти эффекты на подложке.

Из-за сложности и неоднородности исследуемой структуры невозможно гарантировать, что принятые в каждом случае решения проблемы целостности сигналов в приемлемой степени компенсируют негативные эффекты. Чтобы гарантировать устойчивость работы разработанных вычислительных устройств, необходимо ввести для них систему мер, контролирующих эффективность обеспечения ЦС.

В итоге можно констатировать, что создание комплексных методов обеспечения целостности сигналов в структурах компьютерных модулей, недостаточно охватываемых средствами САПР, становится особенно актуальным для современных вычислительных систем.

Целью диссертационной работы является анализ, разработка и контроль эффективности методов обеспечения целостности сигналов при проектировании современных высокопроизводительных вычислительных устройств.

В соответствии с этим были определены следующие задачи:

1. Проведение теоретических и экспериментальных исследований с целью создания общей системы обеспечения ЦС при проектировании высокопроизводительных вычислительных 2. Обеспечение целостности сигналов в МПП с учетом эффектов взаимного влияния сигнальных цепей и пульсаций в системе 3. Разработка технических решений для проектирования подложки многоразрядными каналами ввода-вывода по технологии flip-chip.

4. Разработка и внедрение системы инженерных испытаний вычислительных устройств для выявления дефектов в обеспечении ЦС, не обнаруженных в процессе теоретических и экспериментальных исследований.

5. Формирование технической библиотеки, поддерживающей требование обеспечения ЦС в маршруте проектирования высокопроизводительных вычислительных устройств.

Методы исследования базируются на аналитических расчетах с использованием физических законов электродинамики, компьютерном моделировании электромагнитных процессов в цепях вычислительных устройств, экспериментальном анализе распространения сигналов в образцах разработанных модулей.

Научная новизна работы заключается в следующем:

Научно обоснована разработанная автором система обеспечения целостности сигналов при проектировании высокопроизводительных вычислительных устройств на базе Предложены методы обеспечения целостности сигналов субнаносекундного диапазона в многослойных печатных платах с учетом эффектов взаимного влияния сигнальных цепей и пульсаций в системе электропитания.

Разработаны технические решения для проектирования по высокопроизводительных микропроцессоров с широкими каналами ввода-вывода с учетом целостности сигналов.

Научно обоснована система инженерных испытаний высокопроизводительных устройств, направленная на устранение дефектов в обеспечении ЦС, не охваченных в процессе теоретических и экспериментальных исследований.

Практическая ценность.

Результаты исследований, выполненных по теме диссертации, нашли применение в разработках компании ЗАО «МЦСТ» и ОАО «ИНЭУМ им.

И.С. Брука».

Будучи использованы при проектировании вычислительных модулей на базе микропроцессоров «Эльбрус», «Эльбрус-S», «МЦСТ-4R», «Кубик», они позволили достичь высокого уровня устойчивости и производительности, обеспечивая при этом реализацию заданных функциональных требований. Их применение существенно сократило время и ресурсы на наладку и проведение дополнительных итераций изготовления опытных образцов устройств вычислительных систем.

В процессе диссертационной работы была создана техническая библиотека, содержащая технические указания и руководства для разработчиков вычислительных систем, которая использовалась при проектировании модулей MB3S1/C, MB3S2/C, E3S-ST, MB3C1/C, MB3C2/C, MB3C3/C, MBC4_1/C, MBC4_2/C, MBC4-PC, М1КУБ, М2КУБ, КУБ-СТ, Е2С-Я/С, Е2С-КС. Требования и методы, сформулированные в технической библиотеке, включены в технологический процесс проектирования печатных плат, СБИС, вычислительных модулей и систем в компаниях ЗАО «МЦСТ» и ОАО «ИНЭУМ им. И.С. Брука».

Результаты, выносимые на защиту

В процессе проведения исследований автором были получены следующие результаты:

1. На основе теоретических и экспериментальных исследований, инженерного проектного опыта создана система обеспечения целостности сигналов при проектировании устройств на базе современных высокопроизводительных микропроцессоров.

2. Разработаны методики обеспечения целостности сигналов в многослойных печатных платах с учетом эффектов взаимного влияния цепей распространения сигналов субнаносекундного диапазона и пульсаций в системе электропитания.

3. Предложены и опробованы технические решения для проектирования подложки мощных высокопроизводительных микропроцессоров с многоразрядными каналами ввода-вывода по технологии flip-chip.

4. Сформирована и внедрена система инженерных испытаний вычислительных устройств при экстремальных условиях, позволяющая определить и устранить дефекты в обеспечении целостности сигналов, не выявленные в процессе теоретических и экспериментальных исследований.

5. Разработана и внедрена техническая библиотека методов и средств обеспечения целостности сигналов, позволяющая учитывать высокопроизводительных вычислительных устройств.

Личный вклад автора Постановка задачи выполнена совместно с научным руководителем.

Рассматриваемые в диссертации вычислительные системы и модули спроектированы коллективом разработчиков компании ЗАО «МЦСТ» и ОАО «ИНЭУМ им. И.С. Брука» при участии автора. Панель ПЭ3М1 и модули MB3S1/C MBC4/C, рассматриваемые в данной диссертации разработаны автором, модули MB3M1/C, MB3M2/C, MB3S2/С разработаны под руководством автора. Автор принял участие в наладке, испытании и экспериментальных исследованиях большинства рассмотренных средств вычислительной техники. Автор выполнил теоретические и экспериментальные исследования, на основе которых сформулированы соответствующие научные положения, рекомендации и выводы.

Автором разработаны методики обеспечения целостности сигналов в многослойных печатных платах и предложены технические решения для проектирования подложек микропроцессоров с учетом ЦС. Автором предложена система инженерных испытаний и создана техническая библиотека методов и средств обеспечения целостности сигналов.

Результаты диссертационной работы изложены в ряде печатных публикаций, докладывались на всероссийских и вузовских научных конференциях, в частности на Всероссийской научно-технической наноэлектронных систем" МЭС-2010 (Москва-Истра, 2010), 51-й научной конференции МФТИ (Москва-Долгопрудный, МФТИ, 2009), научной сессии МИФИ-2009 (Москва, МИФИ, 2009), 50-й научной конференции МФТИ (Москва-Долгопрудный, МФТИ, 2008), 49-й научной конференции МФТИ (Москва-Долгопрудный, МФТИ, 2008).

Публикации По теме диссертации опубликованы 8 печатных работ, из них публикации в изданиях, входящих в перечень ВАК РФ.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения и приложения. Список литературы составляет наименований. Объем диссертации составляет 156 страниц. Диссертация содержит 55 рисунков и 2 таблицы.

Содержание работы Во введении обоснована актуальность диссертационной работы, сформулирована цель и аргументирована научная новизна исследований, показана практическая значимость полученных результатов, отмечен личный вклад автора. Дана краткая характеристика содержания работы.

Первая глава посвящена анализу проблем целостности сигналов в структуре «подложка-плата» и методов их исследования. Эта работа, являющаяся одной из целей диссертации, состояла в исследовании основных проблем ЦС, таких как разрушение сигналов, взаимное влияние сигнальных цепей и пульсаций в цепях электропитания и поиску методов их анализа.

В результате автором была предложена и внедрена на практике система обеспечения целостности сигналов, принцип которой приведен на рис. 2.

Экспериментальное аналитические расчеты Рис. 2 Структура системы обеспечения ЦС в вычислительном устройстве Основным методом использованного в работе теоретического анализа явилось компьютерное моделирование. Оно позволило получить необходимые данные в тех случаях, когда задача сводилась к анализу электромагнитной структуры (отдельных фрагментов и типовых решений вычислительной системы) или получению удовлетворяющих по точности характеристик системы (уровня перекрестных помех, падения напряжения и других) на базе идеализированных примеров.

При невозможности или недостаточной результативности теоретических выкладок использовался экспериментальный метод анализа целостности сигналов. В частности, внесение помех в сигнальные цепи позволило изменять степень и параметры проявления изучаемого паразитного эффекта, выявить «узкие» места, нарушающие устойчивую работу системы. Были также предложены экспериментальные методы получения достоверных данных о параметрах системы питания вычислительных модулей.

Синтез исследований, проведенных применительно к подложке и плате, осуществляется на этапе инженерных испытаний, в котором система при экстремальных условиях подвергается ряду воздействий, позволяющих выявить узкие места, не проявившиеся на предыдущих этапах.

Весь процесс обеспечения ЦС охвачен обратной связью, предполагающей повторение исследований определенного типа на основе результатов, полученных на следующих этапах. Будучи неоднократно использованным на практике, он позволил сформировать библиотеку обеспечения ЦС, внедренную компанией в маршруты проектирования и существенно повысившую эффективность новых разработок.

Вторая глава посвящена проблемам обеспечения целостности сигналов в многослойной печатной плате, рассматриваемой как часть исследуемой структуры. Пропускную способность шин современных вычислительных устройств в диапазоне несколько Гбит/c можно обеспечить только в такой структуре МПП, где сплошные металлизированные слои земли и питания используются в качестве путей возвратного тока. Однако ряд факторов существенно усложняет выполнение этого условия: набор различных номиналов питания, наличие частей схемы, требующих особой помехозащищенности питания, значительный разброс в перепаде логических уровней и устойчивости к помехам используемых интерфейсов. От реализации системы питания существенно зависит как производительность вычислительного устройства, так и устойчивость его работы, и его работоспособность вообще. Поскольку, с точки зрения анализа целостности сигналов, рассматриваемая система является сложной структурой с множеством неизвестных параметров, при одновременном учете этих обстоятельств необходимо было выделить круг критических проблем, разработать адекватные модели, а затем, путем сочетания компьютерного моделирования и эксперимента, провести общий анализ.

Существенная часть этого исследования посвящена анализу процессов, сопровождающих прохождение возвратных токов в МПП. Он особенно актуален в связи с тем, что для распределения набора номиналов питающих напряжений по плате и формирования помехозащищенных областей при проектировании платы, разработчики часто вынуждены разрезать сплошные слои металлизации. Поэтому в первую очередь были рассмотрены паразитные эффекты, возникающие при отклонении путей возвратных токов от путей наименьшей индуктивности из-за прохождения сигнальных трасс над разрезами. Для получения количественной оценки возможных помех было проведено моделирование высокоскоростной передачи данных над разрезом в слое питания с помощью программного пакета фирмы AWR: AWR Design Environment 2008 (рис. 3). На этой модели изучалось влияние разреза в слое электропитания на уровень перекрестных помех между трассами в соседнем слое металлизации МПП.

Трассы агрессоров Трасса жертвы Рис.3 Моделирование распределение токов в слоях металлизации над Эти результаты были использованы также при анализе отклонения путей прохождения возвратных токов через разъемы и со слоя на слой через переходные отверстия. В качестве одного из возможных универсальных решений проблемы автор ввел в состав ранее используемых приемов метод сшивающих (bypass) конденсаторов. Этот метод показал положительные результаты в нескольких разработках, в том числе в панели расширителя шины SBUS и в системной панели ВК Эльбрус-3М1, и был помещен в техническую библиотеку.

Другой существенной проблемой, рассматриваемой в главе 2, является обеспечение стабильности системы электропитания. Исследование проводится, исходя из того факта, что общей физической причиной формирования большинства внутренних искажений является существенная индуктивность проводящих структур системы - любое изменение тока, протекающего через цепи питания, вызывает на них падение напряжения (VNOISE на рис. 4).

Рис. 4 Модель цепей земли и питания LVTTL буфера В частности, для приведенной модели имеем:

VNOISE = max(LPWR(dIdd/dT)) = max(LPWRCL(d2V/dT2)) где IDD – ток, протекающий по цепи питания, VNOISE – падение напряжения в цепи питания, CL – емкость нагрузки, VOUT – напряжение питания, Tf – длительность фронта сигнала, LPWR – индуктивность цепи питания.

Рассмотрены эффекты, к которым могут привести пульсации в цепях системы электропитания: увеличение разброса фаз выходных сигналов (skew); ошибочный прием данных; увеличение фазового шума (jitter) синхросигналов; помехи, возникающие на дифференциальных сигналах;

снижение производительности системы.

Показано как при помощи развязывающих конденсаторов можно снизить импеданс системы питания. Рассмотрена физическая модель реального конденсатора и его поведение в цепи питания в зависимости от частоты пульсаций. Введен принцип многоуровневой фильтрации системы питания в зависимости от характера и частоты пульсации (рис. 5). Работа каждого из уровней фильтрации (высокочастотной, среднечастотной и низкочастотной) подробно проанализирована и даны соответствующие рекомендации. Приведен теоретический анализ и даны соответствующие расчетные формулы для оптимального подключения развязывающих конденсаторов - как высокочастотных, так и низкочастотных. Проведена численная оценка необходимого количества и типов конденсаторов в зависимости от типа фильтруемых помех. Исходные данные брались из экспериментов, проведенных на образцах действующей аппаратуры на базе микропроцессоров R500S и Эльбрус.

Рис. 5 Функциональная схема многоуровневой фильтрации помех по Проведены экспериментальные исследования, подтверждающие эффективность и необходимость этих методов. В частности, в панелях ПЭ3М1, М1Э3М/C, MBC/C и других панелях на базе микропроцессоров Эльбрус и R500S, наблюдались нерегулярные сбои при инициализации системы и в процессе работы на штатных тактовых частотах. Использование принципа многоуровневой фильтрации в следующих версиях ВК решило эти проблемы. Применение данных методов в дальнейших разработках позволило создать более качественную систему питания, Помимо этого, проработаны такие немаловажные аспекты проектируемых систем как методы создания схемы электропитания аналоговых цепей и цепей, участвующих в генерации и распространении синхросигналов с высокими требованиями по стабильности номинала, а также - методы реализации аналоговой земли для внешних аналоговых интерфейсов. В частности использование в качестве НЧ фильтра линейного источника питания с высоким коэффициентом подавления по низким частотам решило проблему сбоев ФАПЧ микропроцессора Эльбрус.

Использование аналогового фильтра с низким импедансом для формирования аналоговой земли графического модуля МГА исключило проникновение цифровых помех в аналоговую схему, являвшихся причиной искажений на экране. Разработаны рекомендации по созданию корпусной земли, позволяющие обеспечить надежную экранировку от внешних помех, наводимых как через щели в корпус, так и через внешние интерфейсы.

Третья глава посвящена вопросам обеспечения целостности сигналов на уровне подложки микросхемы. Подложка, связывая кристалл и печатную плату, играет важную роль в обеспечении целостности сигналов. В главе рассмотрены вопросы обеспечения целостности сигналов на уровне подложки применительно, прежде всего, к микросхемам, изготовленным по технологии flip-chip, наиболее полно отвечающей современным требованиям.

Основываясь на опыте изготовления микропроцессоров МЦСТ-R150, МЦСТR500, МЦСТ-R500S и Эльбрус, автор показал необходимость исследования вопросов самостоятельного проектирования подложки высокоскоростных микросхем разработчиками устройств вычислительного комплекса.

В главе рассмотрены особенности реализации топологии подложки, накладываемые спецификой технологии, ее малыми размерами и высокой плотностью сигналов. Выявлено влияние взаимного расположения сигнальных выводов микросхемы и выводов земли и питания на целостность передаваемых сигналов. Взаимное расположение выводов определяет такие существенные эффекты, как эффект одновременно переключающихся выходов (SSO), уровень перекрестных помех в сигнальных цепях, воздействие на цепи питания аналоговых схем, таких как ФАПЧ. Влияние сокета только усугубляет перечисленные эффекты.

Для получения оценки уровня перекрестных помех, возникающих в сигнальных цепях микропроцессора на подложке, было проведено компьютерное моделирование (рис. 6), показавшее зависимость уровня перекрестных помех от взаимного расположения сигнальных выводов микропроцессора и выводов земли и питания (таблица 1) и высоты монтажа микропроцессора (таблица 2).

Рис. 6 Моделирование перекрестных помех в сигнальных цепях Зависимость уровня перекрестной помехи от расстояния до ближайшего вывода цепи питания (L) и расстояния до агрессора (D).  L, мм Зависимость уровня перекрестных помех от высоты монтажа микропроцессора (H) и расстояния до агрессора (D) H, мм На примере первых версий микропроцессоров МЦСТ-R500S и Эльбрус показаны характерные проблемы проектирования подложки микропроцессоров, которые во многом обусловили приведенные в таблицах негативные эффекты. В частности, нарушения в системе подвода напряжений питания (рис. 7а,б), большое количество неэкранированных пересечений сигнальных линий (рис. 7в), расположение выводов земли и питания, образующее большие петли общей индуктивности возвратных токов – привели к повышенному уровню перекрестных помех в сигнальных шинах и к сбоям при одновременном переключении большого количества выходов микропроцессора (рис. 8).

Рис. 7 Нарушения топологии: а) прохождение сигнальных линий над разрезом в земельном полигоне; б) порядка 20 выводов питания кристалла микропроцессора подключаются к соответствующему полигону на внутреннем слое подложке посредством одного переходного отверстия; в) прохождение параллельных сигнальных линий в соседних слоях.

Рис.8 Помехи по питанию 3.3 В в панели ПЭ3М1 предшествующие сбою микропроцессора при одновременном переключении большого количества сигнальных вентилей (эффект SSO). Помехи по питанию (верхние графики) фиксировались по сигналу логического анализатора, обозначающий сбой.

Для решения этих проблем разработан набор методов проектирования подложки. Они были опробованы в последних итерациях микропроцессоров Эльбрус и R500S и показали положительные результаты. В частности, предложенный метод оптимизации расположения сигнальных выводов позволил уменьшить число пересечений сигнальных линий и оптимизировать топологию подложки. Благодаря методу оптимизации взаимного расположения выводов питающих и сигнальных выводов микропроцессора, удалось сократить и разделить пути возвратных токов сигналов микропроцессора. Был предложен сокет с меньшей индуктивностью выводов. Применение этих методов в комплексе позволило снизить уровень перекрестных помех и пульсации по питанию до приемлемого уровня и избавиться от эффекта SSO. Предложен и внедрен метод подвода питания к цепям, требующим повышенного уровня помехозащищенности, что в комплексе с методом улучшенной фильтрации аналогового питания, сформулированном во второй главе, позволил снизить уровень искажений питания ФАПЧ? и решил проблему сбоев ФАПЧ микропроцессора Эльбрус. Изменения, сделанные в новых версиях микропроцессоров, позволили выйти на требуемые показатели производительности и устойчивости работы в области шире установленной техническими требованиями.

В главе подробно рассмотрен вопрос фильтрации системы питания на уровне, включающем кристалл и подложку, который является важным звеном многоуровневой системы фильтрации (рис. 10), предложенной во второй главе. Показано, что даже при создании идеальной системы питания на печатной плате, без принятия специальных мер применительно к подложке, уровень помех по питанию внутри кристалла может оставаться достаточно высоким. Подробно рассмотрен принцип формирования помех в системе питания внутренней логики (ядра) микропроцессора и системе питания внешних интерфейсов микропроцессора. Рассмотрены методы снижения уровня помех в системе распределения питающих напряжений на уровне микросхемы.

Рис. 10. Схема прохождения возвратных токов в структуре кристалл – (CLoad, - емкость нагрузки, CPackage decoupling и Cdecoupling – развязывающие Все эти результаты были использованы при создании системы электропитания микропроцессора Эльбрус, продемонстрировавшей приемлемый уровень обеспечения ЦС. Тем не менее, при проектировании Эльбрус-S с тактовой частотой, возросшей от 300 до 500Мгц, суммарной пропускной способностью интерфейсов, выросшей более чем в 5 раз, и вдвое большей мощностью – пришлось провести дополнительное исследование.

В качестве ключевого метода подавления пульсаций по питанию на уровне подложки микропроцессора был предложен метод установки развязывающих конденсаторов непосредственно на подложку. Проведенное с учетом динамических характеристик микропроцессора и технологических возможностей изготовления подложки моделирование структуры кристалл – подложка – МПП (рис. 11), показало высокую эффективность использования развязывающих конденсаторов, монтируемых непосредственно на подложку (таблица 3).

Рис. 11 Моделируемая электромагнитная структура кристалл – установлен в распаян на плате Для дальнейшего экспериментального исследования факторов, определяющих уровень пульсации микропроцессора, в подложку были введены дополнительные тестовые связи, соединяющие вывод питания ядра и вывод земли на кристалле с двумя выводами на подложке. С их помощью в опытном образце микропроцессора Эльбрус-S были проведены прямые измерения уровня пульсации напряжения питания непосредственно в кристалле микропроцессора (рис. 12). Согласно проведенным замерам уровень пульсаций в нагруженном микропроцессоре составил 40мВ, в то время как для микропроцессора предыдущего поколения Эльбрус он оценивался в 70 мВ.

Рис. 12 Измерение уровня пульсации напряжения питания в кристалле В четвертой главе показана необходимость комплексной инженерной оценки уровня обеспечения ЦС проектируемой системы, которая позволяет выявить узкие места и скрытые дефекты, невыявленные на предыдущих стадиях работы. С этой точки зрения предложено и проверено несколько видов испытаний аппаратуры, использующих режим контроля правильности функционирования, при воздействии: расширенного диапазона температур и питающих напряжений; изменения фаз стробирующих сигналов; внешних помех повышенной амплитуды. Определение границ устойчивой работы при воздействиях различных факторов, в том числе и комплексных воздействиях, позволило дать количественные оценки областей устойчивой работы системы и прогнозировать чувствительность к технологическим отклонениям при серийном выпуске.

В процессе этих испытаний проверка логической корректности прохождения тестов, уже отработанных при штатных условиях, необходима лишь для фиксации нарушений нормальной работы, анализ которых далее проводится инженерными средствами – логическим анализатором, внесением малых искусственных помех в подозрительные цепи, подключением дополнительных неоднородностей, при необходимости проводилось повторное компьютерное моделирование. В частности, эти испытания позволили выявить недостаточный запас временных соотношений в работе оборудования, некачественное согласование внутренних интерфейсов ВК, метастабильное состояние входных триггеров системы. Испытания на электромагнитную совместимость, в процессе которой исследуется устойчивость работы вычислительной системы при воздействии радиочастотных, импульсных и электростатических помех на ВК, позволили выявить слабые места в реализации фильтрующих схем внешних интерфейсов, дефекты экранирующих элементов жгутов внешних интерфейсов и конструктивных элементов ВК.

Таким образом, эффективность комплексной инженерной оценки целостности сигналов была доказана опытом, и сейчас задача заключается в том, чтобы оформить и ввести ее в стандартный маршрут проектирования.

Основные результаты работы 1. Проведены теоретические и экспериментальные исследования разрабатываемых вычислительных устройств на этапах проектирования, наладки и испытаний, на основе которых создана система обеспечения целостности сигналов для устройств на базе современных высокопроизводительных микропроцессоров.

2. Разработаны методики обеспечения целостности сигналов в многослойных печатных платах. Проведен теоретический анализ и экспериментальные исследования эффектов взаимного влияния цепей распространения сигналов субнаносекундного диапазона и уровня пульсаций в системе электропитания.

Предложены технические решения реализации системы электропитания для аналоговых цепей и внешних интерфейсов.

3. Решена задача проектирования подложки мощных многоразрядными каналами ввода-вывода по технологии flipchip с учетом ЦС, что существенно снизило уровень перекрестных помех, проявления эффекта SSO, пульсаций напряжения питания в микропроцессорах.

4. Сформирована и внедрена система инженерных испытаний макетных и опытных образцов вычислительных устройств при экстремальных условиях, позволяющая определить и устранить дефекты в обеспечении целостности сигналов, не выявленные в процессе теоретических и экспериментальных исследований.

5. По результатам исследований, изложенных в диссертационной работе, в компаниях ЗАО «МЦСТ» и «ИНЭУМ им. И.С. Брука»

была внедрена техническая библиотека, позволяющая учитывать требования ЦС во всем маршруте проектирования высокопроизводительных вычислительных устройств.

Список работ, опубликованных по теме диссертации 1. Воробушков В. В., Николаев И. А., Шмаев В. Б.

«Проектирование микропроцессоров «Эльбрус»», Сборник научных трудов 49-й научная конференция МФТИ, Москва-Долгопрудный, ноябрь 2. Воробушков В. В. «Моделирование целостности земли и питания в быстродействующих цифровых системах» Сборник научных трудов 50-й научная конференция МФТИ, МоскваДолгопрудный, ноябрь 2007.

3. Воробушков В. В., Шмаев В. Б. «Проблемы проектирования вычислительных комплексов на базе микропроцессора «Эльбрус». Приложение к журналу «Информационные технологии» №11, Москва 4. Воробушков В. В., Рябцев Ю. С. «Опыт проектирования системных панелей вычислительного комплекса «ЭльбрусМ1». Научная сессия МИФИ-2009. Аннотации докладов, Москва, январь 2009.

5. Воробушков В. В. Рябцев Ю. С. Использование развязывающих конденсаторов на подложке микропроцессора «Эльбрус-С», Сборник научных трудов 51-й научной конференции МФТИ, Москва-Долгопрудный, ноябрь 6. Воробушков В. В., Рябцев Ю. С., Тимофеев В. К. «Особенности разработки топологии системы питания в многослойных печатных платах современных вычислительных устройств».

Вопросы радиоэлектроники, серия «Электронная вычислительная техника», Выпуск 3, Москва 7. Воробушков В. В., Рябцев Ю. С. «Методы конструирования помехозащищенной системы питания для подложки современных микропроцессоров», Вопросы радиоэлектроники, серия «Электронная вычислительная техника», Выпуск 3, Москва 8. Воробушков В. В. Рябцев Ю. С. «Методы обеспечения помехозащищенности питания системы на кристалле «ЭльбрусS». Сборник трудов всероссийской научно-технической конференции МЭС-2010, Москва-Истра, октябрь