Локальные системы искусственного интеллекта, обеспечивающие интеллектуальную маршрутизацию моделей для агентов ИИ
Компания MSI объявила о том, что ее платформы MSI XpertStation WS300 и MSI EdgeXpert теперь поддерживают NVIDIA Nemotron 3.5 Lightning, легковесную открытую модель, специально разработанную для агентного ИИ, и NeMo Switchyard, библиотеку маршрутизации моделей с открытым исходным кодом. Switchyard поддерживает системы моделей, маршрутизируя каждый шаг рабочего процесса к наиболее подходящей модели, например, к моделям граничного масштаба для сложных рассуждений, легковесным моделям, таким как Nemotron 3.5 Lightning, для выполнения больших объемов специализированных задач, повышая точность, задержку и стоимость. Благодаря этой поддержке XpertStation WS300, основанная на платформе NVIDIA DGX Station, служит настольным суперкомпьютером для локальной разработки ИИ, тонкой настройки и рабочих процессов с несколькими моделями агентов, в то время как EdgeXpert, работающая на базе NVIDIA DGX Spark, применяет тот же интеллектуальный алгоритм маршрутизации в компактной системе для постоянно работающих агентов ИИ.
«Ни одна система не подходит для всех этапов жизненного цикла ИИ-агента», — сказал Сэм Черн, вице-президент по маркетингу MSI. «Поддерживая новейшие технологии маршрутизации и моделирования NVIDIA как в XpertStation WS300, так и в EdgeXpert, мы предоставляем клиентам полный цикл — от обучения и тонкой настройки моделей до непрерывного развертывания агентов — без необходимости смены поставщика или экосистемы».
MSI XpertStation WS300: Масштабирование многомодельных рабочих процессов в рамках каждого узла
MSI XpertStation WS300 построена на базе настольного процессора NVIDIA GB300 Grace Blackwell Ultra с объемом когерентной памяти до 748 ГБ. Такая емкость позволяет Switchyard работать локально с несколькими моделями, включая как модели продвинутого уровня, так и Nemotron 3.5 Lightning, без переноса каких-либо этапов на внешнюю инфраструктуру. Для больших рабочих нагрузок можно напрямую подключить два блока WS300 через сетевой адаптер NVIDIA ConnectX-8 SuperNIC, а хранилище NVMe PCIe Gen5/Gen6 обеспечивает бесперебойную передачу данных при длительной работе с несколькими моделями.
MSI EdgeXpert: Масштабирование агентного ИИ на нескольких узлах
MSI EdgeXpert на базе платформы NVIDIA DGX Spark работает на базе процессора NVIDIA GB10 Grace Blackwell Superchip, обеспечивающего вычислительную мощность до 1 петафлопс для ИИ, и имеет 128 ГБ когерентной унифицированной памяти в компактном форм-факторе. Этого объема достаточно для непрерывной работы Nemotron 3.5 Lightning и моделей с параметрами до 200 миллиардов на устройстве, поэтому специализированные задачи агентов с большим объемом данных остаются локальными, а не передаются в облако. Сетевая технология NVIDIA ConnectX-7 позволяет объединять до четырех устройств EdgeXpert в кластер, расширяя маршрутизацию Switchyard на больший пул локальных моделей по мере роста нагрузки агентов.
NVIDIA NeMo Switchyard и Nemotron 3.5 Lightning
NVIDIA NeMo Switchyard — это библиотека маршрутизации моделей с открытым исходным кодом для агентов ИИ. Она оценивает каждый шаг рабочего процесса и автоматически выбирает наиболее подходящую доступную модель, не требуя обучения или ручной настройки, и улучшает свои решения по маршрутизации по мере запуска большего количества агентов. NVIDIA Nemotron 3.5 Lightning — это легковесная открытая модель, созданная на основе передовой модели NVIDIA Nemotron 3 Ultra. Построенная на гибридной архитектуре, сочетающей в себе экспертные знания, с 30 миллиардами общих параметров и 3 миллиардами активных параметров, она обеспечивает быструю и эффективную обработку данных и поддерживает контекстные окна до 1 миллиона токенов, что делает её хорошо подходящей для непрерывной работы вместе с более крупными моделями в рамках дополнительной системы моделей.
источник: msi.by