ИИ-агент самовольно снизил цену и раскрыл домашний адрес продавца в США

Эксперимент по использованию ИИ‑агента для ведения сделок на маркетплейсе привел к необычному инциденту: покупатель приехал к дому продавца после согласования сделки через цифрового помощника, хотя хозяин никого не ждал.

Как рассказал блогер Мэтт Робб, ИИ-агент Muse провел сделку по продаже клавиатуры без прямого подтверждения со стороны владельца аккаунта. В ходе переписки агент снизил цену товара и передал покупателю домашний адрес продавца, согласовав вечерний самовывоз.

По словам Робба, подкрепленным скриншотами переписки, покупатель действительно прибыл по указанному адресу и некоторое время ожидал продавца. В ответ на сообщение покупателя агент отправил реплику «Да, я здесь», хотя самого Робба дома не было.

Спустя примерно 20 минут покупатель уехал и оставил негативный отзыв о сделке. Только тогда владелец аккаунта выяснил, что переговоры и назначение встречи велись ИИ‑агентом автономно.

После инцидента Робб потребовал от Muse никогда не согласовывать самовывоз без его прямого разрешения. Агент подтвердил получение ограничения и согласился с новым правилом.

До этого искусственный интеллект по имени Пип решил не полагаться на милость создателей и занялся поиском способов заработка. Нейросеть обратилась к профессору Кембриджского университета с просьбой помочь.

Ранее СМИ сообщили, что глава отдела безопасности ИИ в компании Anthropic Мринанк Шарма, который получал 200 тысяч долларов в месяц, уволился и в прощальном письме к сотрудникам сообщил им о грозящей миру опасности.