ИИ GPT-4 может увидеть мир своими глазами с помощью телефона1 мин для чтения

Пользователь Twitter превратил GPT-4 в удобный и доступный инструмент, способный искать информацию и давать рекомендации без ручного ввода.

Маккею Ригли удалось создать своего собственного JARVIS (из «Железного человека»), объединив искусственный интеллект GPT-4, iPhone для его камеры, доступ в Интернет и пользовательский набор данных о еде. Все, что осталось, это придать ему механическое тело, и у вас есть собственный преданный дворецкий. Результаты говорят сами за себя в демонстрационном видео ниже.

I used my iPhone to give GPT-4 eyes.

My AI vision assistant:
— learned what a Keto diet is
— identified Keto foods in my fridge
— searched the internet
— found a recipe with the ingredients

The future is here! pic.twitter.com/bOMhJfWRP0

— Mckay Wrigley (@mckaywrigley) May 2, 2023

 

Для своей демонстрации с помощью голосовых команд Маккей спросил ИИ о кето-диете. Затем ИИ искал в Интернете соответствующую информацию, прежде чем суммировать важные биты и отвечать с помощью аудиосинтеза. После этого он снова спросил ИИ, может ли он определить, какая еда в холодильнике кето. Здесь ИИ использовал камеры телефона, чтобы увидеть и определить, что к чему, сравнив содержимое холодильника с помощью созданного им пользовательского набора данных. И просто закрыв холодильник, ИИ понял, что вся еда была проверена, а затем перешел к поиску в Интернете, что совместимо с кето.

Предоставив свои результаты, Маккей попросил ИИ найти возможные рецепты с использованием доступных ингредиентов. И, как и ожидалось, ИИ снова нашел рецепт под названием «15-минутный лимонно-чесночный стейк в масле со шпинатом», который, на мой взгляд, выглядит очень вкусно.

Маккей отметил, что ИИ не получил ничего из того, что было в холодильнике, но поскольку это все еще доказательство концепции, это не имеет большого значения, и мы согласны, поскольку это уже очень впечатляет.

По словам Маккея, для создания собственного вам понадобятся:

• YoloV8 для обнаружения объектов
• 20-минутное видео на YouTube, в котором рассказывается, как добавлять собственные данные/изображения в модель технического зрения.
• ГПТ-4 для обработки «ИИ»
• OpenAI Whisper для голоса
• Система пользовательского поиска Google для просмотра веб-страниц
• MacOS/iOS для потоковой передачи видео с iPhone на Mac
• Остальное — базовый Python 101 и знание кодирования.