Как измерить общий искусственный интеллект
По мере того, как сложность ИИ продолжает расти, благодаря более быстрым компьютерам, улучшенным алгоритмам и большему количеству данных сроки сокращаются. Руководители ведущих лабораторий искусственного интеллекта, включая OpenAI, Anthropic и Google DeepMind, ожидают AGI в течение нескольких лет.
Как измерить общий искусственный интеллект
Компьютерная система, которая думает так же, как мы, будет способствовать более тесному сотрудничеству с людьми. Непосредственные и долгосрочные последствия ИИ, если они будут достигнуты, неясны, но изменения ожидаются во всех областях, от экономики до научных открытий и геополитики.
И если ИИ определенно приведет к сверхразуму, это может даже повлиять на положение человечества в иерархии хищников. Поэтому крайне важно, чтобы мы внимательно следили за развитием технологий, чтобы подготовиться к такому прорыву. Оценка возможностей общего искусственного интеллекта позволит определить правовые нормы, инженерные цели, социальные нормы и бизнес-модели, а также более широко понять интеллект.
В то время как оценка любых интеллектуальных способностей сложна, выполнение этой задачи в случае общего ИИ сопряжено с особыми проблемами. Отчасти это связано с тем, что существуют серьезные расхождения в его определении: некоторые определяют общий ИИ по его показателям в тестах, другие — по его внутренней работе, его экономическому влиянию или его влиянию. Таким образом, первым шагом в измерении интеллекта ИИ является согласование общей концепции.
Другая проблема заключается в том, что системы искусственного интеллекта имеют сильные и слабые стороны, отличные от человеческих, поэтому, даже если мы определим IAG как «ИИ, который может сравниться с людьми в большинстве задач», мы можем обсудить, какие задачи действительно важны, а какие люди задают тон. Прямые сравнения очень сложны, как объяснил Джеффри Хинтон, лауреат Нобелевской премии за свою работу в области искусственного интеллекта: «Мы создаем внеземных существ».
Разработка и предложение тестов, которые могут пролить свет на наше будущее, — это то, чем заняты некоторые исследователи, но остается один вопрос: могут ли эти тесты сказать нам, достигли ли мы желанной цели IAG?
Почему так сложно оценить интеллект
Существует бесконечное множество типов интеллекта, в том числе у людей. Тесты IQ обеспечивают своего рода статистическую сводку, включая ряд полусвязанных задач, связанных с памятью, логикой, пространственной обработкой, математикой и словарным запасом. С другой стороны, производительность в каждой задаче основана на сочетании того, что называется плавным интеллектом (мышление на ходу) и кристаллизованным интеллектом (применение полученных знаний или навыков).
Для граждан стран первого мира тесты IQ обычно предсказывают ключевые результаты, такие как академические и профессиональные успехи. Однако мы не можем делать те же предположения об ИИ, способности которого не сгруппированы одинаково. Тест IQ, разработанный для людей, может не сказать того же о машине, что и о человеке.
Существуют и другие типы интеллекта, которые обычно не оцениваются с помощью тестов IQ, и которые еще более недоступны для большинства параметров ИИ. К ним относятся социальный интеллект, такой как способность делать психологические выводы, и физический интеллект, такой как понимание причинно-следственных связей между объектами и силами, или способность координировать тело в окружающей среде. И то, и другое имеет решающее значение для людей, сталкивающихся со сложными ситуациями.
Оценить интеллект сложно как у людей, так и у животных или машин. И вы должны быть осторожны с ложными срабатываниями и ложными негативами. Это также сложно, потому что представления об интеллекте различаются в зависимости от места и времени, включая изменения, происходящие в обществе, и понимание того, что действительно важно.
Тестирование ИИ
На протяжении многих лет многие люди ставили перед машинами серьезные задачи, которые, как они утверждали, требовали интеллекта наравне с нашим собственным. В 1950 году Алан Тьюринг, которого считают «отцом» информатики, предшественницы Moderna Computer, предложил игру, которая оценивала способность машины демонстрировать интеллектуальное поведение, подобное человеческому существу или неотличимое от него. На протяжении десятилетий прохождение того, что сейчас известно как «тест Тьюринга», считалось практически невыполнимой задачей и сильным показателем IAG.
Еще в 60-х годах исследователи описывали шахматы как наиболее интеллектуальную игру и считали, что создание успешной шахматной машины станет отличной отправной точкой. Отчасти это было реализовано в 1997 году, когда машина Deep Blue победила Гарри Каспарова, тогдашнего чемпиона мира по шахматам. И это при том, что машине IBM не хватало общего интеллекта даже для простой игры в шашки.
Еще один прорыв в тестировании ИИ произошел в 2019 году, когда Франсуа Шолле, в то время инженер-программист Google, опубликовал статью под названием «Об измерении интеллекта». В качестве дополнения он создал новый эталонный тест под названием ARC (https://arcprize.org/), чтобы попытаться измерить общий искусственный интеллект. Он включал сотни визуальных упражнений, каждое из которых содержало несколько демонстраций и тест. Демонстрация состоит из входной и выходной сеток, обе с цветными квадратами. Тест имеет только одну входную сетку. Задача состоит в том, чтобы выучить правило из демонстраций и применить его в тесте, создав таким образом новую исходную сетку.
Чтобы это был не тест на сохраненные знания, а на то, как они рекомбинируются, обучающие головоломки должны содержать все необходимые предварительные базовые знания. К ним относятся такие понятия, как связность объектов, симметрия и подсчет — здравый смысл маленького ребенка. Люди могут с легкостью решить большинство головоломок, но ИИ столкнулся с трудностями, по крайней мере, на начальном этапе.
В марте прошлого года компания Chollet представила более сложную версию под названием ARC-AGI-2. Средний балл человека составляет 60 процентов, в то время как лучший балл по искусственному интеллекту составляет около 16 процентов. ARC считается отличным теоретическим эталоном, который может пролить свет на работу алгоритмов, но не учитывает реальную сложность приложений искусственного интеллекта, таких как задачи социального мышления. Следовательно, другие исследователи предпочитают смотреть не на тесты, а на научные открытия, на которые способен ИИ, и на работу, которую он автоматизирует.
General-Bench — еще один из эталонный тест. Он использует пять методов ввода (текст, изображения, видео, аудио и 3D) для тестирования систем искусственного интеллекта в сотнях задач, требующих распознавания, рассуждений, творчества, этических суждений и других способностей для понимания и генерации материала. В идеале общий ИИ должен демонстрировать синергетический эффект, используя возможности различных задач, чтобы превзойти лучших специалистов по искусственному интеллекту. Однако в настоящее время ни один ИИ не может управлять даже всеми пятью модальностями.
Суть в том, что чрезвычайно сложно оценить эти возможности и, тем более, узнать, когда мы достигнем этого общего искусственного интеллекта или способности соответствовать навыкам людей в большинстве задач. И все, что с этим связано, во многих областях.
Редактор: AndreyEx
