AI-агенти: можливості, ризики та необхідність відповідального підходу

Кожна людина або організація може мати власного AI-агента, який працюватиме автономно на їхню користь. Люди можуть використовувати таких агентів для допомоги у повсякденному або професійному житті, а організації — в якості асистентів, працівників або мережі працівників. Можна навіть уявити AI-агента, який працює для іншого AI-агента. Можливості агентних додатків AI безмежні й обмежуються лише нашою уявою.

Це дійсно захоплююче, і потенційна користь від цього може бути величезною. Проте водночас виникають значні ризики. AI-агенти, зокрема мультиагентні системи, не лише загострюють вже існуючі етичні, правові, безпекові та інші проблеми, до яких ми зіткнулися з генеративним AI (GenAI), але й створюють нові.

AI-агенти відкривають новий рівень ризиків

Моделі AI базуються на даних. У випадку агентного AI потреба у персональних та комерційно чутливих даних зростає експоненційно, як і пов’язані з цим ризики. Складність таких систем викликає цілий ряд запитань щодо конфіденційності.

Конфіденційність

Як ми можемо забезпечити дотримання принципів захисту даних, таких як мінімізація даних та обмеження мети? Як уникнути витоків персональних даних у рамках агентної AI-системи? Чи користувачі AI-агентів матимуть можливість реалізовувати права суб’єктів даних, наприклад, право бути забутим, якщо вони вирішать припинити використовувати агента? Чи буде достатньо лише повідомити “одного” агента, сподіваючись, що він “поширить” це усій мережі агентів?

Безпека

AI-агенти можуть керувати нашими пристроями, і ми повинні дослідити потенційні вразливості таких агентів, якщо вони працюють на наших комп’ютерах, смартфонах чи пристроях Інтернету Речей (IoT).

Якщо існують проблеми безпеки, це не обмежиться одним скомпрометованим застосунком. Ваша “вся інформація” — тобто всі ваші пристрої й дані — буде скомпрометована. Це загрожує як фізичним особам, так і організаціям. Ба більше, такі вразливості можуть “поширитися” на інші агентні системи, з якими взаємодіяв ваш “скомпрометований” агент.

Що буде, якщо одна група агентів дотримується суворих правил безпеки, але вони взаємодіють з іншими агентами, які скомпрометовані через недостатні заходи кібербезпеки? Як гарантувати, що скомпрометовані агенти не стануть “вірусом”, який заражає всі компоненти системи?

Наслідки такої ситуації можуть бути руйнівними. Цей “вірус” може поширюватися за мілісекунди, і потенційно всі пов’язані системи можуть виходити з ладу навіть у масштабах націй. Чим складніші й тісніші ці зв’язки та взаємодія, тим вищий ризик краху.

Упередженість і справедливість

Ми вже бачили приклади упереджених систем генеративного AI. У контексті AI-агентів будь-яка існуюча упередженість передаватиметься під час виконання завдань, збільшуючи її вплив.

Як запобігти дискримінації або забезпечити дотримання правових норм, що гарантують справедливість, коли упередженість вже “вбудована” у систему AI? Як гарантувати, що AI-агенти не посилюватимуть існуючих упереджень, інтегрованих у певну мовну модель (LLM)?

Прозорість

Люди хочуть розуміти процес ухвалення рішень AI-агентами. Компанії повинні забезпечити прозорість взаємодії з AI та надати користувачам можливість втручатися у рішення за потреби або відмовитися від використання.

Відповідальність

У системах агентів та ланцюгах виконання завдань, як можна визначити відповідальність? Це конкретний агент чи вся система агентів? А якщо системи агентів взаємодіють одна з одною? Як побудувати належні механізми відстеження та “захисні обмежувачі”?

Ми ще не вирішили ці питання стосовно мовних моделей та генеративного AI. Як ми можемо гарантувати надійність систем, які є значно складнішими? Крім цих ризиків, з’являється перспектива масштабної суспільної шкоди.

Необхідність у всеосяжному та відповідальному AI

Законодавці ще не врахували питання агентних систем AI. Вони все ще намагаються зрозуміти, як сформувати правила для LLM та генеративного AI. У добу агентної економіки розробники, технологічні компанії, організації та законодавці мають переглянути концепцію “відповідального AI”.

Запровадження AI-управління та відповідних заходів відповідального AI на рівні окремої організації або застосунку замало. Підхід має бути більш цілісним і всеосяжним, а міжнародна співпраця для забезпечення безпеки агентного AI може бути не вибором, а необхідністю.

Докторка Мерав Озейр допомагає організаціям впроваджувати відповідальні системи AI та знижувати пов’язані ризики. Вона розробляє і викладає курси з новітніх технологій у Університеті Вейк Форест і Корнелльському університеті, а раніше була професоркою фінансових технологій у Ратгерському бізнес-школі. Вона також є засновницею Emerging Technologies Mastery — консультаційної компанії “під ключ” для Web3 і AI, що займається відповідальними інноваціями, та має ступінь доктора філософії від бізнес-школи Штерна при Нью-Йоркському університеті.

Ця стаття створена виключно для інформаційних цілей і не є юридичною або інвестиційною порадою. Погляди, думки та міркування, викладені тут, належать лише автору і не обов’язково відображають думки або позиції CryptoAcademy.