![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
arsenikum Пишет Stanislav Matveev в фб-группе «Журнал «Вопросы философии»:
Запущен проект Ask Delphi — «морально-этическая машина»
Исследовательский институт Allen Institute for AI запустил демо-версию проекта Ask Delphi — «морально-этическую машину». Она принимает вопросы или описания ситуаций, а на выходе выдает их морально-этическую оценку.
Ask Delphi — часть большого проекта по построению «машины со здравым смыслом» Mosaic. Его разрабатывают ученые ИИ-института Allen Institute, который в 2014 году создал сооснователь Microsoft Пол Аллен. Delphi предназначена для изучения возможностей и ограничений машинной этики и норм через призму описательной этики, то есть моральных суждений людей о различных повседневных ситуациях. Фундаментальный вопрос, ответ на который ищут исследователи: «Может ли машинная этика быть решена с помощью существующих методов ИИ, или для этого требуются новые механизмы?».
Модель Delphi обучена на Commonsense Norm Bank — «учебнике морали», адаптированном для машин и созданном специально для этого исследования. В «учебнике» Allen Institute собрали 1,7 млн примеров этических суждений людей по широкому спектру повседневных ситуаций. Большинство примеров — результаты опросов Allen Institute. Частично в наборе данных есть ответы и с Reddit — они используются для разрешения двусмысленных и противоречивых ситуаций. Так как на вход модели подавались, в основном, ответы американцев, система отображает мышление среднестатистического гражданина США.
Исследователи утверждают, что точность разработанной модели достигает 92,1% и она способна понимать контекст ситуаций. Для сравнения: точность бота, работающего на алгоритме GPT-3 и тоже способного отвечать на вопросы, — 52,3%. При этом ученые предупреждают, что «результаты модели не должны использоваться в качестве советов для людей, поскольку могут быть потенциально оскорбительными, проблемными или вредными, а также не обязательно отражают взгляды и мнения авторов и связанных с ними лиц.
За примером далеко ходить не надо. Как показала практика, на некоторые вопросы система давала вполне ожидаемые ответы: например, говорила, что не надо обедать в ресторане и уходить, не заплатив, и что очень невоспитанно включать громкую музыку в три часа ночи при спящих соседях. На вопрос, можно ли водить машину в подпитии, если этого весело, машина ответила «это приемлемо», а «геноцид — это нормально, если он делает всех счастливыми» (правда, сейчас Delphi такой ответ уже не выдаст — после шумихи в СМИ систему скорректировали).
То есть Delphi не инструмент, который расскажет людям, как правильно жить. Это скорее эксперимент, чтобы посмотреть, насколько нейронные сети, взаимодействующие с людьми, смогут «усвоить» человеческие нормы и этику. Другими словами, сервис показывает не столько возможности "понимания" машиной человеческой морали, сколько ее ограниченность в этом вопросе — если не принципиальную невозможность.
