Функции искусственного интеллекта в Firefox теперь работают в 10 раз быстрее

Компания Mozilla признала, что её Firefox AI Runtime — встроенный в устройство механизм, обеспечивающий работу таких функций, как группы умных вкладок и генерация замещающего текста, — «работал не так быстро, как нам хотелось».

Перевод: он работал медленно, и пользователи это заметили.

Итак, в типичной для Mozilla манере компания что-то с этим сделала.

За последние несколько месяцев инженеры заменили WebAssembly (WASM: https://ru.wikipedia.org/wiki/WebAssembly) сборку Microsoft ONNX Runtime (https://onnxruntime.ai/), которая обеспечивает работу функций Firefox на основе Transformers.js, на нативную версию на C++, встроенную в кодовую базу браузера.

Первые тесты показывают, что с новым нативным бэкендом логические выводы выполняются «в 2–10 раз быстрее», а также устраняются накладные расходы на прогрев WASM, из-за которых первые запуски многих функций ИИ казались особенно медленными, согласно новому посту в блоге (https://blog.mozilla.org/en/firefox/firefox-ai/speeding-up-firefox-local-ai-runtime/) инженеров Mozilla Тарека Зиаде, Поля Адено и Сержа Гельтона.

Зачем отказываться от WebAssembly?

Согласно сообщению в блоге, конвейер логического вывода был неэффективным по своей сути: предварительная обработка в JavaScript, выполнение в WASM, а затем возврат в JavaScript для последующей обработки. Даже при использовании «тёплых кэшей» (когда данные уже загружены в память) обмен данными замедлял работу.

Для задач, основанных на машинном обучении, в браузерных переводах Mozilla используется нативный подход на C++, поэтому команда разработчиков искусственного интеллекта в Firefox решила последовать этому примеру — и, похоже, это принесло свои плоды.

Функция создания замещающего текста в PDF.js «ускорилась с 3,5 с до 350 мс» на том же оборудовании, что означает ускорение в 10 раз. Между тем (так называемая) интеллектуальная группировка вкладок «которая при первом запуске может работать медленно, теперь работает довольно быстро».

Команда добавляет, что система всё ещё не идеальна и «в будущем можно и нужно будет многое улучшить», чтобы усовершенствовать функции на основе машинного обучения в Firefox.

Значительное увеличение скорости будет достигнуто за счёт использования графического процессора для выполнения задач, поэтому в настоящее время ведётся работа по добавлению соответствующей поддержки. Также разрабатываются другие улучшения, в том числе многопоточные операции и кэширование скомпилированных графов для сокращения времени запуска модели.

До тех пор функции «искусственного интеллекта» в Firefox будут работать на центральном процессоре (поэтому некоторые пользователи Firefox недавно заметили чрезмерную нагрузку на процессор).

Когда? Почему, он уже здесь…

Если вы обновились до Firefox 142, то можете воспользоваться преимуществами нового подхода, поскольку функция группировки вкладок в Firefox использует собственный фон.

Кроме того, Mozilla «постепенно внедряет этот новый бэкенд в дополнительные функции в течение лета, чтобы все возможности, созданные на основе Transformers.js, могли использовать его преимущества».

Нужны ли вам функции «искусственного интеллекта» в браузере — это отдельный вопрос, но если они всё же будут доступны, то инструменты на устройстве обеспечат конфиденциальность, а их максимально эффективная работа — это…

Что ж, думаю, это лучше, чем ничего.

Редактор: AndreyEx