Запускайте языковые модели на вашем смартфоне с помощью PocketPal AI

PocketPal AI — это помощник с искусственным интеллектом с открытым исходным кодом, который позволяет взаимодействовать с различными небольшими языковыми моделями (SLM) прямо на вашем смартфоне, даже без подключения к интернету. Он предлагает ряд функций, таких как возможность загружать и переключаться между различными SLM, настраивать параметры вывода для оптимальной производительности и просматривать показатели производительности в реальном времени. В настоящее время PocketPal AI поддерживает платформы Android и iOS.

В этой статье блога мы обсудим функции, преимущества и способы начала работы с PocketPal AI.

Функции PocketPal AI

PocketPal AI обладает рядом функций, в том числе:

• Автономная работа: главное преимущество PocketPal AI — возможность запускать языковые модели непосредственно на вашем устройстве без подключения к интернету. Это делает его идеальным для использования в местах с ограниченным доступом к интернету или без него.
• Гибкость модели: пользователи могут загружать и переключаться между различными моделями SLM, включая такие популярные, как Danube 2 и 3, Phi, Gemma 2 и Qwen. Такая гибкость позволяет пользователям выбирать модель, наиболее подходящую для их нужд.
• Управление памятью: PocketPal AI автоматически управляет памятью, выгружая модели, когда приложение работает в фоновом режиме, и загружая их при возвращении в приложение.
• Настраиваемые параметры: приложение позволяет пользователям изменять параметры модели, такие как системное приглашение, температура, токен BOS и шаблоны чата.
• Показатели производительности: PocketPal AI отображает показатели производительности в реальном времени, показывая количество токенов в секунду и миллисекунд на один токен во время генерации ответов ИИ.

Как использовать PocketPal AI на Android и iOS

Сначала загрузите и установите PocketPal AI на свой смартфон.

• iOS: Скачайте PocketPal AI из App Store.
• Android: Получите PocketPal AI в Google Play.

Загрузка модели

После установки вы можете загрузить предпочитаемую вами модель. На момент написания этой статьи PocketPal AI предварительно настроен со следующими SLM:

• Danube 2 and 3
• Phi
• Gemma 2
• Qwen

Пожалуйста, обратите внимание, что для использования SLM необходимо загрузить его на свой мобильный телефон. Для этого откройте приложение PocketPal AI и нажмите значок «Меню» (☰). Перейдите на страницу «Модели». Затем выберите модель из списка и нажмите «Загрузить».

Раздел Моделей

Загрузка модели

После загрузки просто нажмите Загрузить рядом с названием модели, чтобы загрузить её в память.

Общайтесь с моделью в чате

1. Убедитесь, что модель загружена.
2. Перейдите на страницу Чата из меню.
3. Начните вводить свои вопросы или подсказки!.

Общайтесь с помощью PocketPal AI

Пользователи могут получить доступ к дополнительным настройкам, нажав на значок в виде треугольника (v) рядом с моделью.

Удобство использования и функциональность

Я не знаю, как долго разрабатывается это приложение, но разработчик PocketPal AI опубликовал его исходный код только вчера.

Пользователи сообщают о положительном опыте использования PocketPal AI, отмечая его скорость и удобство. Некоторые пользователи отметили более высокую скорость работы на iPhone по сравнению с устройствами на Android, возможно, из-за использования Apple Metal GPU API. Однако поступали сообщения о сбоях приложения при загрузке некоторых моделей, особенно на устройствах Pixel.

Одним из ограничений, на которое обратили внимание пользователи, является сложность копирования текста из сгенерированных ответов с сохранением форматирования, особенно Markdown. Разработчик признал наличие этой проблемы и ищет решения.

Заключение

PocketPal AI — это мощный и удобный инструмент, который позволяет использовать возможности языковых моделей. Его автономная работа, гибкость моделей и удобный дизайн делают его отличным выбором для всех, кто хочет использовать ИИ на своём мобильном устройстве.

Если у вас есть хороший смартфон, установите PocketPal AI, протестируйте его и поделитесь с нами своим опытом в комментариях ниже.

Ресурс:

• Репозиторий PocketPal AI на GitHub

(1 оценок, среднее: 5,00 из 5)

Загрузка...