Пользователь Twitter превратил GPT-4 в удобный и доступный инструмент, способный искать информацию и давать рекомендации без ручного ввода.
Маккею Ригли удалось создать своего собственного JARVIS (из «Железного человека»), объединив искусственный интеллект GPT-4, iPhone для его камеры, доступ в Интернет и пользовательский набор данных о еде. Все, что осталось, это придать ему механическое тело, и у вас есть собственный преданный дворецкий. Результаты говорят сами за себя в демонстрационном видео ниже.
https://twitter.com/mckaywrigley/status/1653464294493921280
Для своей демонстрации с помощью голосовых команд Маккей спросил ИИ о кето-диете. Затем ИИ искал в Интернете соответствующую информацию, прежде чем суммировать важные биты и отвечать с помощью аудиосинтеза. После этого он снова спросил ИИ, может ли он определить, какая еда в холодильнике кето. Здесь ИИ использовал камеры телефона, чтобы увидеть и определить, что к чему, сравнив содержимое холодильника с помощью созданного им пользовательского набора данных. И просто закрыв холодильник, ИИ понял, что вся еда была проверена, а затем перешел к поиску в Интернете, что совместимо с кето.
Предоставив свои результаты, Маккей попросил ИИ найти возможные рецепты с использованием доступных ингредиентов. И, как и ожидалось, ИИ снова нашел рецепт под названием «15-минутный лимонно-чесночный стейк в масле со шпинатом», который, на мой взгляд, выглядит очень вкусно.
Маккей отметил, что ИИ не получил ничего из того, что было в холодильнике, но поскольку это все еще доказательство концепции, это не имеет большого значения, и мы согласны, поскольку это уже очень впечатляет.
По словам Маккея, для создания собственного вам понадобятся:
- YoloV8 для обнаружения объектов
- 20-минутное видео на YouTube, в котором рассказывается, как добавлять собственные данные/изображения в модель технического зрения.
- ГПТ-4 для обработки «ИИ»
- OpenAI Whisper для голоса
- Система пользовательского поиска Google для просмотра веб-страниц
- MacOS/iOS для потоковой передачи видео с iPhone на Mac
- Остальное — базовый Python 101 и знание кодирования.