Все познаваемо (Карнеад).

Запускайте языковые модели на вашем смартфоне с помощью PocketPal AI

22.10.2024

PocketPal AI — это помощник с искусственным интеллектом с открытым исходным кодом, который позволяет взаимодействовать с различными небольшими языковыми моделями (SLM) прямо на вашем смартфоне, даже без подключения к интернету. Он предлагает ряд функций, таких как возможность загружать и переключаться между различными SLM, настраивать параметры вывода для оптимальной производительности и просматривать показатели производительности в реальном времени. В настоящее время PocketPal AI поддерживает платформы Android и iOS.

В этой статье блога мы обсудим функции, преимущества и способы начала работы с PocketPal AI.

 

Функции PocketPal AI

PocketPal AI обладает рядом функций, в том числе:

  • Автономная работа: главное преимущество PocketPal AI — возможность запускать языковые модели непосредственно на вашем устройстве без подключения к интернету. Это делает его идеальным для использования в местах с ограниченным доступом к интернету или без него.
  • Гибкость модели: пользователи могут загружать и переключаться между различными моделями SLM, включая такие популярные, как Danube 2 и 3, Phi, Gemma 2 и Qwen. Такая гибкость позволяет пользователям выбирать модель, наиболее подходящую для их нужд.
  • Управление памятью: PocketPal AI автоматически управляет памятью, выгружая модели, когда приложение работает в фоновом режиме, и загружая их при возвращении в приложение.
  • Настраиваемые параметры: приложение позволяет пользователям изменять параметры модели, такие как системное приглашение, температура, токен BOS и шаблоны чата.
  • Показатели производительности: PocketPal AI отображает показатели производительности в реальном времени, показывая количество токенов в секунду и миллисекунд на один токен во время генерации ответов ИИ.
Читать  Цифровая трансформация

 

Как использовать PocketPal AI на Android и iOS

Сначала загрузите и установите PocketPal AI на свой смартфон.

  • iOS: Скачайте PocketPal AI из App Store.
  • Android: Получите PocketPal AI в Google Play.

 

Загрузка модели

После установки вы можете загрузить предпочитаемую вами модель. На момент написания этой статьи PocketPal AI предварительно настроен со следующими SLM:

  • Danube 2 and 3
  • Phi
  • Gemma 2
  • Qwen

 

Пожалуйста, обратите внимание, что для использования SLM необходимо загрузить его на свой мобильный телефон. Для этого откройте приложение PocketPal AI и нажмите значок «Меню» (☰). Перейдите на страницу «Модели». Затем выберите модель из списка и нажмите «Загрузить».

Раздел Моделей

Раздел Моделей

 

Загрузка модели

После загрузки просто нажмите Загрузить рядом с названием модели, чтобы загрузить её в память.

Общайтесь с моделью в чате

  1. Убедитесь, что модель загружена.
  2. Перейдите на страницу Чата из меню.
  3. Начните вводить свои вопросы или подсказки!.

 

Общайтесь с помощью PocketPal AI

Общайтесь с помощью PocketPal AI

 

Пользователи могут получить доступ к дополнительным настройкам, нажав на значок в виде треугольника (v) рядом с моделью.

 

Удобство использования и функциональность

Я не знаю, как долго разрабатывается это приложение, но разработчик PocketPal AI опубликовал его исходный код только вчера.

Пользователи сообщают о положительном опыте использования PocketPal AI, отмечая его скорость и удобство. Некоторые пользователи отметили более высокую скорость работы на iPhone по сравнению с устройствами на Android, возможно, из-за использования Apple Metal GPU API. Однако поступали сообщения о сбоях приложения при загрузке некоторых моделей, особенно на устройствах Pixel.

Читать  21 Год спустя GNU Shepherd Service Manager выходит версии v1.0

Одним из ограничений, на которое обратили внимание пользователи, является сложность копирования текста из сгенерированных ответов с сохранением форматирования, особенно Markdown. Разработчик признал наличие этой проблемы и ищет решения.

 

Заключение

PocketPal AI — это мощный и удобный инструмент, который позволяет использовать возможности языковых моделей. Его автономная работа, гибкость моделей и удобный дизайн делают его отличным выбором для всех, кто хочет использовать ИИ на своём мобильном устройстве.

Если у вас есть хороший смартфон, установите PocketPal AI, протестируйте его и поделитесь с нами своим опытом в комментариях ниже.

 

Ресурс:

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (1 оценок, среднее: 5,00 из 5)
Загрузка...
Если статья понравилась, то поделитесь ей в социальных сетях:

Оставить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Это может быть вам интересно


Загрузка...

Спасибо!

Теперь редакторы в курсе.

Scroll to Top