Штучний інтелект Anthropic використовувався китайськими хакерами для здійснення кібератаки

Кілька місяців тому Anthropic опублікував a детально описуючи, як його модель Claude AI була використана у схемі здирництва «вібраційного зламу». Компанія продовжує стежити за тим, як агентурний штучний інтелект використовується для координації кібератак, і тепер що підтримувана державою група хакерів у Китаї використала Клода для спроби проникнення в 30 корпоративних і політичних цілей по всьому світу, з певним успіхом.

У тому, що він назвав «першим задокументованим випадком великомасштабної кібератаки, здійсненої без істотного втручання людини», Anthropic сказав, що хакери спочатку обрали свої цілі, серед яких були неназвані технологічні компанії, фінансові установи та державні установи. Потім вони використали Claude Code для розробки автоматизованої системи атак, успішно обійшовши навчання моделі, щоб уникнути шкідливої ​​поведінки. Це було досягнуто шляхом розбиття запланованої атаки на більш дрібні завдання, які явно не виявляли їхнього ширшого зловмисного наміру, і розповісти Клоду, що це була фірма з кібербезпеки, яка використовує ШІ для цілей оборонного навчання.

Після написання власного коду експлойту Anthropic сказав, що Claude зміг викрасти імена користувачів і паролі, що дозволило йому витягнути «велику кількість приватних даних» через створені ним бекдори. Повідомляється, що слухняний ШІ навіть потрудився з документуванням атак і збереженням викрадених даних в окремих файлах.

Хакери використовували штучний інтелект протягом 80-90 відсотків своєї роботи, лише зрідка втручаючись, і Клод зміг організувати атаку за набагато менший час, ніж могли б це зробити люди. Це не було бездоганним, оскільки частина отриманої інформації виявилася загальнодоступною, але Anthropic сказав, що подібні атаки, ймовірно, з часом стануть більш витонченими та ефективними.

Вам може бути цікаво, чому компанія зі штучним інтелектом хоче оприлюднювати небезпечний потенціал своєї технології, але Anthropic каже, що її дослідження також є доказом того, чому помічник є «вирішальним» для кіберзахисту. У ньому сказано, що Claude успішно використовувався для аналізу рівня загрози зібраних даних і в кінцевому підсумку розглядає його як інструмент, який може допомогти фахівцям з кібербезпеки під час майбутніх атак.

Клод — далеко не єдиний ШІ, який приніс користь кіберзлочинцям. Минулого року він заявив, що його генеративні інструменти штучного інтелекту використовувалися хакерськими групами, пов’язаними з Китаєм і Північною Кореєю. Повідомляється, що вони використовували GAI для допомоги в налагодженні коду, дослідженні потенційних цілей і написанні фішингових електронних листів. Тоді OpenAI заявив, що заблокував доступ груп до своїх систем.