Запускайте языковые модели на вашем смартфоне с помощью PocketPal AI
PocketPal AI — это помощник с искусственным интеллектом с открытым исходным кодом, который позволяет взаимодействовать с различными небольшими языковыми моделями (SLM) прямо на вашем смартфоне, даже без подключения к интернету. Он предлагает ряд функций, таких как возможность загружать и переключаться между различными SLM, настраивать параметры вывода для оптимальной производительности и просматривать показатели производительности в реальном времени. В настоящее время PocketPal AI поддерживает платформы Android и iOS.
В этой статье блога мы обсудим функции, преимущества и способы начала работы с PocketPal AI.
Функции PocketPal AI
PocketPal AI обладает рядом функций, в том числе:
- Автономная работа: главное преимущество PocketPal AI — возможность запускать языковые модели непосредственно на вашем устройстве без подключения к интернету. Это делает его идеальным для использования в местах с ограниченным доступом к интернету или без него.
- Гибкость модели: пользователи могут загружать и переключаться между различными моделями SLM, включая такие популярные, как Danube 2 и 3, Phi, Gemma 2 и Qwen. Такая гибкость позволяет пользователям выбирать модель, наиболее подходящую для их нужд.
- Управление памятью: PocketPal AI автоматически управляет памятью, выгружая модели, когда приложение работает в фоновом режиме, и загружая их при возвращении в приложение.
- Настраиваемые параметры: приложение позволяет пользователям изменять параметры модели, такие как системное приглашение, температура, токен BOS и шаблоны чата.
- Показатели производительности: PocketPal AI отображает показатели производительности в реальном времени, показывая количество токенов в секунду и миллисекунд на один токен во время генерации ответов ИИ.
Как использовать PocketPal AI на Android и iOS
Сначала загрузите и установите PocketPal AI на свой смартфон.
- iOS: Скачайте PocketPal AI из App Store.
- Android: Получите PocketPal AI в Google Play.
Загрузка модели
После установки вы можете загрузить предпочитаемую вами модель. На момент написания этой статьи PocketPal AI предварительно настроен со следующими SLM:
- Danube 2 and 3
- Phi
- Gemma 2
- Qwen
Пожалуйста, обратите внимание, что для использования SLM необходимо загрузить его на свой мобильный телефон. Для этого откройте приложение PocketPal AI и нажмите значок «Меню» (☰). Перейдите на страницу «Модели». Затем выберите модель из списка и нажмите «Загрузить».
Раздел Моделей
Загрузка модели
После загрузки просто нажмите Загрузить рядом с названием модели, чтобы загрузить её в память.
Общайтесь с моделью в чате
- Убедитесь, что модель загружена.
- Перейдите на страницу Чата из меню.
- Начните вводить свои вопросы или подсказки!.
Общайтесь с помощью PocketPal AI
Пользователи могут получить доступ к дополнительным настройкам, нажав на значок в виде треугольника (v) рядом с моделью.
Удобство использования и функциональность
Я не знаю, как долго разрабатывается это приложение, но разработчик PocketPal AI опубликовал его исходный код только вчера.
Пользователи сообщают о положительном опыте использования PocketPal AI, отмечая его скорость и удобство. Некоторые пользователи отметили более высокую скорость работы на iPhone по сравнению с устройствами на Android, возможно, из-за использования Apple Metal GPU API. Однако поступали сообщения о сбоях приложения при загрузке некоторых моделей, особенно на устройствах Pixel.
Одним из ограничений, на которое обратили внимание пользователи, является сложность копирования текста из сгенерированных ответов с сохранением форматирования, особенно Markdown. Разработчик признал наличие этой проблемы и ищет решения.
Заключение
PocketPal AI — это мощный и удобный инструмент, который позволяет использовать возможности языковых моделей. Его автономная работа, гибкость моделей и удобный дизайн делают его отличным выбором для всех, кто хочет использовать ИИ на своём мобильном устройстве.
Если у вас есть хороший смартфон, установите PocketPal AI, протестируйте его и поделитесь с нами своим опытом в комментариях ниже.
Ресурс:
Редактор: AndreyEx
