Индустрия делает вид, что это потрясающе, а это не так: соучредитель OpenAI сильно снижает ажиотаж с помощью ИИ и агентов
Андрей Карпати был соучредителем OpenAI и директором по искусственному интеллекту в Tesla. Хотя на сегодняшний день он не играет активной роли ни в одной из двух компаний, он является эталоном и, прежде всего, энтузиастом искусственного интеллекта. Это видно по качеству его обучающих видеороликов об отрасли или по тому, как он открывает миру свои знания с помощью таких инструментов, как minGPT или nanoGPT. Кроме того, благодаря его коду мы видим такие замечательные творения, как большая языковая модель, работающая поверх Windows 98.
И все же такой уровень вовлеченности в отрасль не заставляет его перестать реалистично относиться к ожиданиям, которые он возлагает на искусственный интеллект и его последствия. Он еще раз продемонстрировал это в престижном подкасте Dwarkesh Patel, где за почти два с половиной часа беседы эксперт оставил много цитат и впечатлений об этом секторе.
«Это десятилетие агентов«. Карпати не только верит в агентов, но и ввел термин «vibe coding» для обозначения программирования с использованием искусственного интеллекта. В этом смысле он утверждает, что часто использует Claude и Codex в повседневной жизни. Он говорит, что эти первые агенты «впечатляют», но «еще предстоит проделать большую работу», и считает, что это десятилетие агентов, но не год агентов, как было сказано, что 2025 год будет.
В этом смысле, и он несколько раз комментирует это на протяжении всего интервью, в отрасли наблюдается чрезмерное прогнозирование в том смысле, что многое предсказывается относительно того, как скоро все произойдет (например, что общий искусственный интеллект или AGI не за горами).
«Моделей еще нет. Я чувствую, что индустрия делает слишком большой скачок и пытается притвориться, что это потрясающе, когда это не так. Это отстой. Они не принимают реальность, и, возможно, они делают это, чтобы привлечь инвестиции или что-то в этом роде, я не знаю. Но мы находимся на промежуточном этапе.
Происхождение стольких преувеличений и шумихи. В одном отрывке Карпати поясняет, что он не настроен пессимистично, даже если это звучит так. «На самом деле я настроен оптимистично. Я просто звучу пессимистично, потому что, когда я смотрю на свою временную шкалу в Твиттере, я вижу все эти вещи, которые для меня не имеют смысла». И дает ключ к тому, чем объясняется такая чрезмерная реакция на Twitter, — к деньгам. «Честно говоря, во многом это просто сбор средств. Это просто стимулирующие структуры. Многое из этого — просто внимание, превращение внимания в деньги в Интернете».
«Обучение с подкреплением — это ужасно». Обучение с подкреплением — это метод, при котором ИИ учится методом проб и ошибок: выполняет действия, получает вознаграждение или наказание и корректирует свое поведение, чтобы максимизировать будущую награду. Он сыграл ключевую роль в таких достижениях, как AlphaGo, или в оптимизации таких крупных моделей, как Deepseek, но Карпати считает, что его способ “вознаграждать в конце” далек от того, как люди думают.
Для Карпати это «ужасно», и он заходит так далеко, что сравнивает это с «сосанием надзора через соломинку»: все усилия модели сводятся к одному последнему числу (правильно он поступил или нет), что создает чертовски много шума. По его словам, люди так не учатся: мы не делаем сотни слепых попыток и не придаем одинакового значения каждому промежуточному шагу. Он считает, что будущее зависит от «надзора за процессом», при котором модель будет получать постоянную обратную связь. Имейте в виду, он признает, что мы еще не знаем, как автоматизировать это без того, чтобы системы не находили ловушек (adversarial examples) для обмана.
Редактор: AndreyEx
