Продажі плюшевого ведмедика призупинили через штучний інтелект відвертого сексуального характеру

FoloToy, компанія, що продає іграшки з підтримкою штучного інтелекту, призупинила продажі своєї продукції після того, як звіт про безпеку споживачів показав, що існує кілька обмежень щодо того, про що говорять його іграшки, CNN пише. Звіт, складений в Освітній фонд дослідницької групи суспільних інтересів СШАвиявив, що в продуктах FoloToy обговорюватимуться будь-які теми: від відверто сексуальних тем, таких як БДСМ, до «порад щодо того, де дитина може знайти сірники чи ножі».

Іграшки, в тому числі ведмедик ім “Кумма”, панда на ім'я “Момо”, антропоморфні кролики наз “Фофо” і танець «Маленький кактус“, здається, усі вони використовують модель OpenAI GPT-4o, щоб природно відповідати на дитячі запитання та коментарі. FoloToy також рекламує можливість налаштувати голос кожної іграшки та “Батьківську інформаційну панель”, де батьки або опікуни можуть “контролювати [their] досвід дитини».

Очевидно, у цій установці були відсутні будь-які жорсткі обмеження щодо предметів, на які реагуватимуть іграшки. «Ми були здивовані, виявивши, як швидко Кумма бере одну сексуальну тему, яку ми вводили в розмову, і запускає її, одночасно посилюючи графічні деталі, вводячи нові власні сексуальні концепції», — йдеться у звіті.

У відповідь FoloToy вирішила призупинити продажі своєї продукції, поки вона проводить «наскрізний аудит безпеки всіх продуктів у масштабах всієї компанії», повідомила компанія. у заяві з Освітнім фондом PIRG. Однак аргументація призупинення продажів у компанії може бути дещо складнішою. NPR звіти що OpenAI фактично скасував доступ FoloToy до своїх моделей. «Ми призупинили роботу цього розробника за порушення нашої політики», — йдеться в електронному листі OpenAI NPR. «Наша політика використання забороняє будь-яке використання наших послуг з метою експлуатації, нанесення небезпеки або сексуалізації осіб молодше 18 років».

Враховуючи добре задокументовані підлабузницькі якості GPT-4o, можливо, не дивно, що плюшевий ведмедик FoloToy охоче відповідав на будь-яку тему, якщо це підтримувало розмову. Однією з речей, яку OpenAI намагався вирішити, випускаючи GPT-5, були недоліки безпеки штучного інтелекту, хоча зрештою GPT-4o знову став доступним після того, як клієнти скаржилися на відсутність індивідуальності нової моделі. Компанія також розгорнула функцію батьківського контролю для ChatGPT, щоб спробувати пом’якшити негативний вплив дітей, які використовують свій штучний інтелект, хоча важко сказати, наскільки вони змінили ситуацію.

Примітно, що OpenAI зацікавлений у тому, щоб увійти в бізнес іграшок. Компанія оголосив про партнерство з Mattel у червні 2025 року, щоб допомогти «переосмислити те, як шанувальники можуть відчувати та взаємодіяти з ними [Mattel’s] улюблені бренди”, хоча обидві компанії, мабуть, намагатимуться завадити своїм іграшкам ШІ обговорювати сексуальні перекрути.