Компания NVIDIA (NVDA) объявила о запуске новой технологии NVIDIA RTX™, которая будет использоваться для управления искусственными интеллектами и цифровыми персонажами на новых ноутбуках с технологией GeForce RTX™ AI.
NVIDIA представила технологию Project G-Assist — демонстрацию технологии AI-ассистента на базе RTX, которая обеспечивает контекстную помощь для игр и приложений на ПК. Проект G-Assist дебютировал с ARK: Survival Ascended от Studio Wildcard. Кроме того, NVIDIA представила первые ПК-микросервисы вывода NVIDIA NIM™ для цифровой платформы NVIDIA ACE.
Эти технологии реализованы благодаря набору инструментов и набору программных компонентов NVIDIA RTX AI Toolkit, которые помогают разработчикам оптимизировать и развертывать крупные генеративные модели искусственного интеллекта на ПК под управлением Windows. Они присоединяются к полному стеку инноваций AI RTX от NVIDIA, ускоряющему более 500 приложений и игр на ПК и 200 дизайнов ноутбуков от производителей.
Кроме того, вновь анонсированные AI ПК-ноутбуки с технологией RTX от ASUS и MSI оснащены видеокартами GeForce RTX 4070 и энергоэффективными системами на кристалле с возможностями AI для ПК на базе Windows 11. Эти AI ПК на базе Windows 11 получат бесплатное обновление до Copilot+ PC при выпуске.
“В 2018 году NVIDIA открыла эру AI-ПК с выпуском RTX Tensor Core GPUs и NVIDIA DLSS,” – сказал Джейсон Пол, вице-президент по потребительским технологиям искусственного интеллекта в NVIDIA. “Теперь, с Project G-Assist и NVIDIA ACE, мы открываем следующее поколение AI-приводимых прежними опытами для более чем 100 млн пользователей RTX AI ПК.”
Project G-Assist, AI-ассистент на базе GeForceAI-ассистенты готовы изменить игровые и внутриигровые опыты — от предложения игровых стратегий и анализа повторов мультиплеерных игр до помощи в сложных креативных рабочих процессах. Project G-Assist дает представление о будущем.
Игры на ПК предлагают огромные вселенные для исследования и сложные механики для освоения, что является сложной и требующей времени задачей даже для самых преданных геймеров. Project G-Assist ставит знания об игре на пальцы игроков, используя генеративный искусственный интеллект.
Project G-Assist принимает голосовые или текстовые вводы от игрока, а также контекстную информацию с игрового экрана, и обрабатывает данные через модели видения AI. Эти модели улучшают контекстное понимание и понимание специфики приложения большой языковой модели (LLM), связанной с базой данных знаний об игре, и затем генерируют индивидуальный ответ, представленный в виде текста или речи.
NVIDIA сотрудничала с Studio Wildcard для демонстрации технологии с ARK: Survival Ascended. Project G-Assist может помочь ответить на вопросы о существах, предметах, истории, целях, сложных боссах и многом другом. Поскольку Project G-Assist учитывает контекст, он персонализирует свои ответы в соответствии с игровым сеансом игрока.
Кроме того, Project G-Assist может настроить игровую систему игрока для оптимальной производительности и эффективности. Он может предоставить информацию о показателях производительности, оптимизировать графические настройки в зависимости от оборудования пользователя, применить безопасный разгон и даже интеллектуально снизить энергопотребление, сохраняя целевую производительность.
Первый ПК ACE NIM ДебютируетТехнология NVIDIA ACE для создания цифровых персонажей теперь появляется на AI ПК и рабочих станциях с NVIDIA NIM — сервисами вывода, позволяющими разработчикам снизить время развертывания с недель до минут. ACE NIM сервисы вывода обеспечивают работу высококачественной вывода, выполняемой локально на устройствах, для понимания естественного языка, синтеза речи, анимации лиц и многого другого.
На выставке COMPUTEX игровой дебют технологии NVIDIA ACE NIM на ПК будет показан в технологическом демо Covert Protocol, разработанном в сотрудничестве с Inworld AI. Теперь в нем показываются технологии распознавания речи NVIDIA Audio2Face™ и NVIDIA Riva, работающие локально на устройствах.
Windows Copilot Runtime получит ускорение от GPU для локальных SLMsMicrosoft и NVIDIA сотрудничают, чтобы помочь разработчикам добавить новые возможности генеративного AI в свои приложения для Windows. Это сотрудничество предоставит разработчикам простой доступ к программному интерфейсу приложений (API) для ускорения GPU малых языковых моделей (SLM), которые обеспечивают возможности поисково-дополненной генерации (RAG) и работают на устройстве в составе Windows Copilot Runtime.
SLM предоставляют огромные возможности для разработчиков приложений Windows, включая краткое изложение содержания, генерацию содержания и автоматизацию задач. Возможности RAG дополняют SLM, предоставляя моделям AI доступ к информации, характерной для конкретной области, которая не так хорошо представлена в базовых моделях. RAG API позволяют разработчикам использовать данные, специфичные для приложения, и настраивать поведение и возможности SLM в соответствии с потребностями приложения.
Эти AI-возможности будут ускорены благодаря GPU NVIDIA RTX, а также ускорителям AI от других производителей аппаратного обеспечения, что обеспечит пользователям быстрые и отзывчивые AI-впечатления в рамках всей экосистемы Windows.
API будет выпущен для предварительного просмотра разработчикам позже в этом году.
В 4 раза быстрее, с моделями в 3 раза меньше благодаря RTX AI ToolkitЭкосистема искусственного интеллекта создала сотни тысяч моделей с открытым исходным кодом, на которые могут полагаться разработчики приложений, однако большинство моделей предварительно обучены для общих целей и предназначены для запуска в центре обработки данных.
Чтобы помочь разработчикам создавать специфические для приложения модели AI, работающие на ПК, NVIDIA представляет набор инструментов RTX AI Toolkit — набор инструментов и набор разработчика для настройки, оптимизации и развертывания моделей на ПК с технологией RTX AI. RTX AI Toolkit будет доступен в конце текущего месяца для широкого доступа разработчиков.
Разработчики могут настраивать предварительно обученную модель с помощью инструментов с открытым исходным кодом QLoRa. Затем они могут использовать оптимизатор моделей NVIDIA TensorRT™ для квантификации моделей для уменьшения использования памяти до 3 раз. Затем NVIDIA TensorRT Cloud оптимизирует модель для максимальной производительности по всем линейкам графических процессоров RTX. В результате производительность увеличивается до 4 раз по сравнению с предварительно обученной моделью.
Новый набор инструментов AI Inference Manager от NVIDIA, который уже доступен в режиме раннего доступа, упрощает развертывание ACE на ПК. Он предварительно настраивает ПК необходимыми моделями AI, двигателями и зависимостями, организуя вывод AI незаметно между ПК и облаком.
Программные партнеры, такие как Adobe, Blackmagic Design и Topaz, интегрируют компоненты RTX AI Toolkit в свои популярные творческие приложения, чтобы ускорить AI-выполнение на ПК с технологией RTX.
“Adobe и NVIDIA продолжают сотрудничать, чтобы обеспечить прорывные пользовательские впечатления во всех креативных рабочих процессах, от видео до изображений, дизайна, 3D и более,” – сказала Дипа Субраманиам, вице-президент маркетинга продуктов, Creative Cloud в Adobe. “TensorRT 10.0 на ПК с технологией RTX обеспечивает невиданное исполнение и AI-возможности для создателей, дизайнеров и разработчиков, открывая новые креативные возможности для создания контента в ведущих творческих инструментах, таких как Photoshop.”
Компоненты набора инструментов RTX AI Toolkit, такие как TensorRT-LLM, интегрированы в популярные фреймворки и приложения разработчиков для генеративного искусственного интеллекта, включая Automatic1111, ComfyUI, Jan.AI, LangChain, LlamaIndex, Oobabooga и Sanctum.AI.
AI для создания контентаNVIDIA также интегрирует ускорение AI RTX в приложения для создателей, моддеров и видеолюбителей.
В прошлом году NVIDIA представила ускорение RTX с использованием TensorRT для одного из самых популярных пользовательских интерфейсов Stable Diffusion, Automatic1111. Начиная с этой недели, RTX также будет ускорять очень популярный ComfyUI, обеспечивая до 60% улучшения производительности по сравнению с текущей версией и в 7 раз большей производительности по сравнению с MacBook Pro M3 Max.
NVIDIA RTX Remix – платформа модинга для переиздания классических игр DirectX 8 и DirectX 9 с полным трассировкой лучей, NVIDIA DLSS 3.5 и физически точными материалами. RTX Remix включает рантайм-рендерер и приложение RTX Remix Toolkit, которое облегчает модинг игровых ресурсов и материалов.
В прошлом году NVIDIA сделала открытым исходный код RTX Remix Runtime, позволяя моддерам расширять совместимость игр и улучшать возможности визуализации.
С момента запуска RTX Remix Toolkit в начале этого года, 20 000 моддеров использовали его для модинга классических игр, что привело к более чем 100 обновленным версиям в рамках сообщества RTX Remix Showcase Discord.
В этом месяце NVIDIA сделает RTX Remix Toolkit открытым исходным кодом, позволяя моддерам оптимизировать замену ресурсов и переосвещение сцен, увеличить поддержку форматов файлов для ingestor активов RTX Remix и усилить AI Texture Tools RTX Remix новыми моделями.
Кроме того, NVIDIA делает возможности RTX Remix Toolkit доступными через REST API, позволяя моддерам связать RTX Remix с инструментами цифрового создания контента, такими как Blender, инструментами моддинга, такими как Hammer, и приложениями для генеративного искусственного интеллекта, такими как ComfyUI. NVIDIA также предоставляет SDK для RTX Remix Runtime, чтобы моддеры могли внедрить рендерер RTX Remix в другие приложения и игры, выходящие за пределы классических DirectX 8 и 9.
С расширением платформы RTX Remix в виде открытого исходного кода моддеры по всему миру могут создавать еще более потрясающие ремастеры RTX.
NVIDIA RTX Video, популярная функция суперразрешения AI, поддерживаемая в браузерах Google Chrome, Microsoft Edge и Mozilla Firefox, предоставляется теперь в виде SDK всем разработчикам, помогая им интегрировать AI для увеличения разрешения, улучшения резкости, уменьшения артефактов сжатия и преобразования в высокодинамический диапазон (HDR).
В скором времени функция RTX Video появится в программном обеспечении для видеомонтажа Blackmagic Design’s DaVinci Resolve и Wondershare Filmora, что позволит монтажерам увеличивать разрешение видеофайлов низкого качества до 4
