NVIDIA 400G NDR Link не працює після повторного оновлення? Перевірте MPO-12/APC

Якщо анПосилання NVIDIA NDR не працює після повторного виправлення, прочитайте його фізичний і логічний стан перед заміною іншого кабелю. Physical Down вимагає перевірки зміненого шляху MPO-12/APC, схеми кабелю та порушених інтерфейсів. Physical LinkUp з InfiniBand, який все ще перебуває в режимі INIT, вимагає перевірки менеджера підмережі. Чистий на вигляд роз’єм і індикатор з’єднання вирішують лише частину проблеми.

У цьому посібнику розглядаються розгалуження 400G NDR на двопортовому багатомодовому OSFP MMA4Z00-NS, у тому числі MFP7E10 точка-точка та розгалужувач MFP7E20. Для іншої оптики почніть із власних специфікацій інтерфейсу; нашзагальний посібник з усунення несправностей підключення MPOпояснює цей ширший процес відбору.

1. NDR Link Down або INIT? Почніть зі статусу InfiniBand

На хості Linux з інстальованими інструментами діагностики RDMA визначте HCA та перевірте уражений порт. Це приклади запитів; замінити mlx5_0, номери портів і назви заповнювачів у верхньому регістрі справжніми ідентифікаторами. Імена пристроїв MFT, використані пізніше, є іншим простором імен.

ibstat -libstat mlx5_0 1sminfo -C mlx5_0 -P 1iblinkinfo -C HEALTHY_HCA -P HEALTHY_PORT --downperfquery -C HEALTHY_HCA -P HEALTHY_PORT SWITCH_LID SWITCH_PORT

ibstat повідомляє локальний стан, фізичний стан, швидкість, базовий LID та SM LID. sminfo запитує менеджер підмережі; використовуйте його без установників стану або пріоритетів. Для виявлення інтерфейсу та віддаленого запиту perfquery потрібен доступний шлях керування та відповідні дозволи, тому використовуйте HCA для активного керування, якщо уражений порт не може отримати доступ до матеріалу. Синтаксис інструменту задокументовано вджерело 7.

Наприклад, State: Initializing, Physical state: LinkUp і Base lid: 0 направляють вас до виявлення SM і призначення адреси. Невдалий запит sminfo також може відображати проблему доступності або дозволу. Якщо порт активного керування досягає головного SM, але цей порт залишається в INIT, перевірте журнали виявлення, ізоляції та активації мережі. Слідкуйте за оптикою, якщо її фізичний стан також змінюється.

2. Знайдіть, що змінилося під час повторного виправлення

Відстежте уражену гілку від роз’єму MPO комутатора до дальнього кінця HCA. Перелічіть шнури обладнання, адаптери, магістралі та касети, які фактично є в цьому маршруті. Нова панель може змінити закріплення, відображення та втрату, навіть якщо обидва кабелі обладнання залишаються на місці. Використовуйтепанель, корпус і напрямна для касетирозрізняти апаратне забезпечення.

Одна несправна гілка після однієї заміни кабелю спочатку вказує на цей змінений шлях. Дві помилки після події спільного модуля також вимагають розпізнавання модуля та перевірки режиму. Подивіться на тугі вигини, затиснуті черевики та напругу, яка виникає, коли шухляда закрита; несправність може виявитися лише в кінцевому положенні.

3. Підберіть кабель MPO до топології NDR

Разом прочитайте оптичний PID, етикетку кабелю та схему підключення. Для MMA4Z00-NS кожен роз’єм MPO обслуговує окремий чотирисмуговий порт 400G.

NVIDIA вимагає, щоб обидва двопортові роз’єми використовували одну форму кабелю: точка-точка або спліттер. Термінпрямий кабельу цій топології обговорення відноситься до форми точка-точка; його волоконне відображення все ще є кросоверним типом B. Два кабелі можуть мати різну довжину. дивджерело 3, джерело 4іджерело 5.

4. Перевірте APC, закріплення та повну карту волокна

Підтверджуйте пару на кожному з’єднанні

Використовуйте MPO-12/APC на цьому оптичному інтерфейсі. Провід MPO-12/UPC від старішого розгортання 100G або 200G несумісний із зазначеною сполучною поверхнею APC. Колір роз’єму допомагає знайти деталі, але етикетка та малюнок визначають полірування. Перевірте проміжний адаптер з обох сторін.

Трансивер має штифти для вирівнювання; на кінці кабелю, що сполучається з ним, потрібні отвори для вирівнювання. Кожна проміжна пара MPO також потребує дійсного закріпленого/незакріпленого сполучення. Два незакріплені кабелі обладнання потребують відповідного сполучення під час з’єднання. Роз’єм, який чинить опір нормальному кріпленню, потребує перевірки перед застосуванням сили.

Відстеження активних позицій від передавача до приймача

Карта MFP7E10 з’єднує 1→12, 2→11, 3→10 і 4→9 з каналами протилежного напрямку в позиціях 9–12. Позиції 5–8 позначені Not Connected. Це описує розподіл робочих каналів; невикористане місце не повинно бути видимо порожнім. Прочитайте обидві грані роз’єму в орієнтації перегляду, зазначеної на кресленні.

Тип A — це наскрізне відображення; Type-B повертає масив. Для прямого з’єднання MFP7E10 потрібен кросовер. Для маршруту, побудованого виключно зі звичайних елементів відображення A/B, непарна кількість розворотів B створює чистий кросовер. Для касет або джгутів для перегрупування потрібні їхні фактичні карти. нашПатч-корд MPO та довідник щодо полярності каналівпояснює цю перевірку на рівні каналу. Карта кабелів NVIDIA єджерело 2.

5. Огляньте та очистіть інтерфейси MPO після повторного виправлення

Якщо фізичне з’єднання не працює після повторного оновлення, перевірте інтерфейси, які були відкриті або порушені, коли ідентифікатор кабелю та карта правильні. Частинка може перекривати оптичний шлях або перешкоджати контакту наконечника. Повторне сполучення може перенести його на протилежну поверхню, тому очищення лише ослабленого патч-корду залишає частину шляху несправності без контролю.

Почніть із симптому та ураженої смуги

Перед від’єднанням збережіть ідентифікаційні дані модуля відповідної гілки, стан зв’язку та доступні показники потужності прийому для кожної смуги. Низька або відсутня смуга прийому допомагає звузити пошук до передавача, оптоволоконного тракту та приймача. Подібні симптоми можуть виникнути через картографування, пошкоджене волокно або оптичний механізм, тому скористайтеся перевіркою, щоб перевірити гіпотезу забруднення.

Якщо зв’язок виникає, коли шухляда відкрита, і не працює, коли вона закривається, перевірте маршрут і натяг, а також чистоту. Непорушена однорідна гілка забезпечує живе порівняння без відкриття іншої пари з’єднувачів.

Огляньте кабель і гніздо

Ізолюйте пошкоджений оптичний шлях, перш ніж його відкривати. Використовуйте відеоінспекційний датчик і відповідний наконечник MPO/APC для кабелю та інтерфейсу вбудованого модуля. Дотримуйтесь процедур лазерної безпеки та ESD; з’єднувальний мікроскоп повинен підходити для завдання перевірки.

Перевірте всі робочі положення волокна та контактну поверхню прямокутної наконечника. Погляд лише на центральні волокна пропускає зовнішні робочі позиції. Подивіться на розсипчасте сміття, плівку, частинки навколо направляючих отворів або штифтів, а також стійкі подряпини чи відколи. Для автоматичного аналізу «пройшов/не пройшов», виберіть застосовний роз’єм і профіль багатомодової перевірки.

Перш ніж вибрати волокно для перевірки, зіставте слабку телеметричну смугу з кресленням підключення. Для індексів смуг пристроїв і позицій наконечників використовуються різні правила нумерації. Включіть напрямок передачі/приймання та орієнтацію перегляду роз’єму; діагностична мітка, наприклад смуга 0, сама по собі не визначає позицію 1 MPO.

IEC 61300-3-35:2022 включає всю контактну поверхню під час перевірки прямокутних наконечників на забруднення. Візуальний огляд доповнює вимірювання загасання та зворотних втрат. дивджерело 10.

Використовуйте хімчистку, повторний огляд, послідовність сполучення

1. Огляньте обидві сполучені поверхні та визначте забруднену частину. Тримайте захищеними від’єднані кінці.
2. Використовуйте сухий засіб для очищення оптичних роз’ємів, призначений для конкретного інтерфейсу MPO/APC. Переконайтеся, що його наконечник досягає контактної поверхні, і використовуйте послідовність ходів або клацань виробника інструменту.
3. Перевірте ще раз із тими ж налаштуваннями датчика. Якщо сміття залишається або рухається, продовжуйте схвалений метод хімчистки; не підключайте брудний кінець до чистої ємності.
4. Коли обидві поверхні відповідають застосовним критеріям перевірки, знімайте захист лише за потреби та негайно сполучайте. Тримайте наконечник подалі від пальців, серветок і навколишніх поверхонь.
5. Відновіть уражену гілку та порівняйте її стан, показання для кожної смуги та дельти лічильника за тих самих умов тестування.

Інструкції NVIDIA для цього модуля забороняють наносити рідини; його вказівки щодо транспортування кабелю також тримають вузол подалі від рідин. Вибираючи метод очищення, враховуйте це обмеження щодо продукту. дивджерело 1, джерело 3і нашіінструкція з перевірки та очищення роз’єму.

Використовуйте відповідь, щоб вибрати наступний тест

Якщо перевірка пройдена, а та сама смуга залишається слабкою, виміряйте пасивний шлях або замініть один завідомо правильний, перевірений вузол. Проблема, яка виникає після видаленого відведення, вказує на цього відведення або його історію спаровування. Проблема, яка залишається з портом, залишає розетку, локальний оптичний механізм, передавач дальнього кінця та конфігурацію.

На коммутаційній панелі включіть заднє магістральне з’єднання в область перевірки, коли воно було порушено. Очищення кабелю переднього обладнання не може видалити забруднення на задній сполучній поверхні. Відомо правильний прямий кабель може допомогти ізолювати маршрут панелі за умови, що його відображення та топологія відповідають обом кінцевим точкам.

Подряпина, яка залишається після очищення, потребує оцінки відповідно до застосовних критеріїв дефекту та оптичних результатів. Перш ніж вибрати заміну, визначте, чи він належить кабелю чи модулю. Якщо забруднення не можна видалити підтримуваним методом, припиніть сполучення цього інтерфейсу та віднесіть його на подальше очищення чи ремонт.

Після відновлення перевірте остаточне маршрутизоване положення. Стабільне підключення LinkUp, InfiniBand Active і тихий інтервал помилок є більш переконливими доказами, ніж одноразовий перехід підключення.

6. Посилання не працює чи не працює? Читайте mlxlink і лічильники помилок

Використовуйте MFT для фізичного рівня та запитів модулів на обох кінцевих точках. Виберіть відповідний логічний порт, особливо на модулі з двома портами. Quantum-2 використовує адресацію клітки/порту, наприклад -p 15/2; налаштований розділений порт може потребувати іншого суфікса. Ці команди запитують статус; підтримка варіантів залежить від встановленого MFT, мікропрограми та платформи.Джерело 6документує запити.

mlxlink --helpmlxlink -d MFT_DEVICE -p ПОРТmlxlink -d MFT_DEVICE -p ПОРТ --show_modulemlxlink -d MFT_DEVICE -p ПОРТ --show_counters

Наступний зменшений дисплей є aприклад синтетичного читаннядля гілки 400G, а не захоплення поля. Назви вихідних даних і форматування відрізняються залежно від версії.

Operational InfoState : ActivePhysical state : LinkUpSpeed ​​: IB-NDRWidth : 4xPhysical Counters and BER InfoTime Time Since Last Clear [хв.] : 15,0 Ефективні фізичні помилки : 0Raw Physical BER : 1E-7

У цьому прикладі Active, LinkUp і IB-NDR/4x визначають очікувану гілку 400G. Ненульовий необроблений BER може співіснувати з операцією з корекцією FEC. Його значення потребує критеріїв BER і тенденції платформи; приклад 1E-7 не є універсальною межею прийнятності.

Як початковий екран, зробіть два знімки з інтервалом у 60 секунд після того, як порт стабілізується, із репрезентативним трафіком, якщо доступний. Використовуйте UFM або підтримуваний моніторинг для більш тривалого спостереження; NVIDIA описує mlxlink як інструмент діагностики, а не службу безперервного опитування. 60-секундний екран не забезпечує довгострокової гарантії BER.

Використовуйте perfquery двічі для дельт лічильника портів IB. Його базовий і розширений набори лічильників відрізняються; -x не просто додає кожен лічильник помилок. Не ототожнюйте базовий SymbolErrorCounter із SymbolErrorsExt UFM без перевірки визначення лічильника. Якщо фізичне LinkUp залишається стабільним, але INIT зберігається, поверніться до перевірок SM у розділі 1.

7. Числові посилання: втрати, зворотні втрати, BER і перекіс

Застосуйте кожне число до компонента або перевірте, який він описує. Специфікація роз’єму, тест на відповідність модуля та порогове значення лічильника живих послуг відповідають на різні запитання.

Окремо обчисліть втрати на встановленому шляху

Для кожного робочого волокна підсумуйте вказані втрати сполучених з’єднань, волокна та будь-яких з’єднань, а потім порівняйте цю суму з підтримуваним допуском на канал. Додаток NVIDIA 50 м передбачає наявність двох коммутаційних панелей і чотирьох оптичних роз’ємів. Для додаткових підключень потрібен новий бюджет.

Наприклад, якщо проект призначає 0,35 дБ для кожного з чотирьох з’єднань і 0,18 дБ для волокна, його оцінені втрати на шляху дорівнюють4 × 0.35 + 0.18=1.58 дБдо будь-якої зарезервованої маржі. Це заявлені вхідні дані для планування, а не вимірювання чи обмеження каналу NVIDIA. Залишок запасу є перевіреним дозволом каналу мінус 1,58 дБ. Не перетворюйте інформаційні кінцеві точки середньої потужності запуску/отримання на гарантований бюджет втрат.

Виміряйте відключений шлях за допомогою відповідного багатомодового обладнання MPO/APC на 850 нм, використовуючи задокументовану еталонну установку та визначені кінцеві точки. Заводський результат кабелю не включає підключення, додані пізніше. Славидіапазон кабелів центру обробки данихописує пасивні компоненти, для яких можна запитувати звіти про випробування складання.

Використовуйте часове вікно для перевірки помилок NDR

Детермінована процедура UFM PDR від NVIDIA надає робочий приклад NDR: дельти SymbolErrorsExt порівнюються з2,88 протягом 12 хвилині3 протягом 125 хвилинна 400 Гбіт/с, що відповідає його 10⁻¹⁴і 10⁻¹⁵розрахунки ставок. Порівняння строго більше, тому цілі дельти 3 і 4 відповідно перетинають ці межі. Ця процедура використовує власні правила телеметрії та вибірки; побачитиджерело 8. Застосуйте процедуру розгорнутої версії UFM, а не замінюйте mlxlink Raw Physical BER у ці формули.

Відокремте затримку поширення 4,5 нс/м від перекосу смуги

NVIDIA використовує приблизно4,5 нс/мдля затримки поширення волокна: 50 м вносять близько 225 нс в одну сторону. Перекіс смуги — це різниця часу прибуття в групі пов’язаних смуг, max(t_i) − min(t_i). Невідповідність довжини смуги в 1 м спричинить приблизно 4,5 нс диференціальної затримки; це обчислення, а не допустима межа перекосу.

Публічна таблиця MFP7E10, наведена тут, не публікує допустиму стелю перекосу смуги. Отримайте це значення для кваліфікації встановленої оптики/кабелю, якщо підозрюється вирівнювання смуги. Дві незалежні гілки 400G можуть мати різну довжину; їх відмінність не є автоматичним перекосом усередині порту. Посилання на поширення єджерело 9.

8. Укажіть заміну MPO-12/APC

Запитуйте точну форму кабелю, клас і довжину волокна, полірування та закріплення обох кінців APC, орієнтацію роз’єму, карту робочих каналів, специфікацію втрат і звіт про випробування. Включіть як оптичні PID, так і повний маршрут. Заміна для прямої гілки 400G повинна зберігати перехресну та кінцеву точку.

Часті запитання

Посилання NDR не працює після повторного виправлення: що слід перевірити в першу чергу?

Прочитайте стани фізичного та логічного портів. Physical Down направляє вас до зміненого шляху кабелю, інтерфейсів і чистоти. Physical LinkUp з INIT направляє вас до виявлення та активації менеджера підмережі. Використовуйте ibstat і таблицю рішень розділу 1 перед заміною іншої частини.

Чи можу я використовувати MPO-12/UPC замість MPO-12/APC?

Зазначений інтерфейс NVIDIA вимагає APC. Провід UPC несумісний із цією сполучною поверхнею, навіть якщо корпус виглядає відповідним. Перевірте полірування за специфікацією деталі та перевірте обидві сторони будь-якого проміжного з’єднання.

Чому InfiniBand знаходиться в INIT, коли фізичне з’єднання працює?

Фізичний шлях навчений, але логічна активація тканини не завершена. Перевірте Base LID і SM LID, запитайте менеджер підмережі з доступного порту керування та перегляньте журнали виявлення або ізоляції. Стабільний фізичний LinkUp лише за допомогою INIT не визначає забруднений роз’єм MPO.

Чи можуть дві розетки використовувати кабель «точка-точка» та розгалужувач разом?

NVIDIA вимагає однакової форми кабелю для обох двопортових роз’ємів: обидва «точка-точка» або обидва розгалужувачі. MFP7E10 і MFP7E20 обслуговують різні кінцеві точки. Дві гілки можуть мати різну довжину в межах визначеного діапазону.

Чи слід чистити патч-корд або гніздо трансивера?

Огляньте обидві сполучені поверхні на порушеному з’єднанні. Очистіть забруднення за допомогою інструменту, який підходить для інтерфейсу MPO/APC, а потім перевірте ще раз перед з’єднанням. Дотримуйтесь обмежень NVIDIA щодо відсутності рідини для цього модуля та залиште підключеною здорову, безперешкодну гілку-брат.

Чи означає ненульове необроблене значення BER, що зв’язок перервався?

Необроблені помилки можна виправити за допомогою FEC. Порівняйте тенденцію, ефективні помилки, переходи посилань і очікувану швидкість за однакових умов. Умова випробування напруженого приймача 2,4 × 10−4 не є універсальною допустимою межею поля для необробленого фізичного BER.

Чи є 4,5 нс/м допустимим перекосом смуги MPO?

Це приблизне значення затримки поширення. Перекіс — це різниця в часі прибуття між смугами в межах однієї зв’язаної групи. Використовуйте ліміт кваліфікації встановленого продукту; не розглядайте затримку розповсюдження на метр як порогове значення перекосу пройшов/не пройшов.

Чи може прохідний результат втрати вставки довести, що посилання працює?

Він встановлює втрати перевіреного шляху за його заявленим методом і межею. Він не встановлює необхідну карту волокна, сумісність APC, конфігурацію порту або стабільну службу. Порівняйте тестові кінцеві точки з повним встановленим маршрутом.

Чи означає «прямий кабель» NVIDIA полярність типу A?

В описі «точка-точка» проти розгалужувача «прямий» називає форму кабелю. MFP7E10 використовує перехресне відображення типу B. Укажіть фізичну форму та карту наскрізного волокна як окремі поля.

Що робити, якщо посилання не працює після очищення та перевірок зіставлення?

Замініть один завідомо правильний, перевірений вузол або виміряйте пасивний шлях. Якщо несправність залишається з портом, перевірте локальний оптичний механізм, віддалену оптику та конфігурацію хоста. Заміна спільного модуля впливає на обидві гілки та потребує відповідного відключення.

Технічні джерела

1. Характеристики NVIDIA MMA4Z00-NS: радіус дії, оптична потужність, умови тестування приймача та поводження.
2. Характеристики NVIDIA MFP7E10: значення IL/RL і карта розташування волокон.
3. Посібник із застосування NVIDIA MFP7E10: APC, закріплення, спарена форма кабелю та припущення панелі.
4. Інформація про замовлення NVIDIA MFP7E20: форма розділювача та кінцеві точки.
5. Огляд двопортового підключення NVIDIA: робота «точка-точка» та спліттер.
6. Утиліта NVIDIA MFT v4.35.0 mlxlink: модульні та фізично-лічильні запити.
7. Посібники з діагностики проекту Linux RDMA: ibstat, sminfo, iblinkinfo та синтаксис perfquery.
8. Детермінований плагін NVIDIA UFM PDR: визначення лічильників NDR і процедура тимчасового вікна.
9. Трансивер NVIDIA 100G-PAM4 і деталі оптоволокна: еталонний сигнал поширення 4,5 нс/м.
10. Офіційне резюме IEC 61300-3-35:2022: огляд контактної зони та оптичний приціл.