Anthropic запретила пользователям демонстрировать «постоянное, ненужное или жестокое поведение» по отношению к своим моделям, пока руководители компании размышляют над машинным сознанием.
The Verge первой сообщила об изменении политики.
Представитель Anthropic, которая стоит за чат-ботом с искусственным интеллектом Клодом, не сразу ответил на вопрос о том, что считается «оскорбительным или жестоким».
В своей политике в отношении онлайн-пользователей компания из Сан-Франциско отметила, что ее запрет не распространяется на общие раздражения пользователей, тестирование моделей или «темные творческие темы».
Политика использования Anthropic ранее включала ограничения на оскорбительное поведение.
Крупные языковые модели компании имеют возможность прерывать разговор, если пользователь постоянно проявляет злонамеренность. Когда эта функция была запущена в августе прошлого года, компания представила ее как защиту благополучия ИИ.
«Мы по-прежнему очень не уверены в потенциальном моральном статусе Клода и других LLM сейчас или в будущем. Однако мы относимся к этому вопросу серьезно и параллельно с нашей исследовательской программой работаем над выявлением и реализацией экономически эффективных мер по снижению рисков для благополучия моделей, если такое благополучие возможно. Позволять моделям прекращать или устранять вмешательство в работу этого веб-сайта — это неприятно».
Представление о том, что системы ИИ осведомлены, сильно поляризовано в мире технологий и за его пределами.
Генеральный директор Anthropic Дарио Амодей заявил, что не может исключать такую возможность.
Между тем Сэм Альтман, генеральный директор конкурирующей компании OpenAI, выступил против этой идеи.
«Мне очень неудобно, когда люди пытаются приписать религиозную силу или отказ от человеческого суждения моделям искусственного интеллекта, и я думаю, что это реальная проблема безопасности», — сказал он в посте X, через несколько дней после того, как New York Times сообщила о обширных беседах между антропными лидерами и религиозными учеными.
