Модель искусственного интеллекта Nemotron 3.5 Lightning от NVIDIA доступна в Ubuntu через Snap

Canonical объявила, что новый искусственный интеллект Nemotron 3.5 Lightning от NVIDIA, гибридная модель с 30 миллиардами параметров и участием экспертов, теперь доступен в Ubuntu, поскольку пользователи могут легко установить его с помощью готовой к использованию оснастки вывода и всего одной команды.

Если вы не следите за всеми новыми моделями искусственного интеллекта, то Nemotron 3.5 Lightning — это компактная открытая модель искусственного интеллекта от NVIDIA, созданная для выполнения повторяющихся задач, с которыми справляются автономные ИИ-агенты.

Однако ее отличие в том, что вместо использования большой модели логического вывода для каждой мелкой задачи она выполняет такие действия, как вызов инструментов, проверка результатов, форматирование вывода и другие часто встречающиеся задачи, где скорость и эффективность важнее глубокого анализа.

Компания Canonical значительно упростила развертывание модели в Ubuntu. Вместо того чтобы самостоятельно устанавливать и настраивать программное обеспечение для логического вывода, вы можете установить предустановленную среду логического вывода от Canonical с помощью sudo snap install nemotron-3-5-lightning. Пакет Nemotron доступен с момента запуска и работает на совместимых рабочих станциях, серверах и периферийных устройствах с поддержкой NVIDIA.

Модель поддерживает контекстное окно размером до одного миллиона токенов, что помогает долго работающим ИИ-агентам сохранять информацию при выполнении сложных многоэтапных задач. Canonical также отмечает, что пакет Snap предлагает стандартизированную среду выполнения, безопасное выполнение, проверенную дистрибуцию, автоматические обновления и меньшее количество операций по обслуживанию.

Nemotron 3.5 Lightning также полностью настраиваем. NVIDIA предоставляет разработчикам весовые коэффициенты модели, обучающие данные и рецепты, чтобы они могли адаптировать модель под конкретные задачи, а не использовать ее только как удаленный сервис. По словам NVIDIA, модель может работать локально, в облаке или в центрах обработки данных.

Более того, в некоторых задачах она может работать в четыре раза быстрее аналогичных моделей, поскольку предназначена для постоянно активных агентов, поэтому простые операции не требуют использования гораздо более крупной модели, что замедлило бы работу и потребовало бы больше ресурсов.

Более подробную информацию можно найти в официальном объявлении Canonical.

Редактор: AndreyEx