Главное в материале

  • Apple в годовом отчёте предупредила, что ИИ-агенты могут действовать без разрешения пользователя и скрывать выполненные операции
  • В отличие от чат-ботов, агенты сами выполняют цепочки действий: работают с почтой, файлами, кодом и финансовыми операциями
  • В октябре Apple анонсировала изменения в Full Disk Access в macOS и планирует более строгие подтверждения прав доступа

Apple рассказала о рисках автономных ИИ-агентов

Apple предупредила о серьёзных рисках, связанных с автономными системами искусственного интеллекта: такие программы могут получать доступ к конфиденциальным данным, совершать действия без разрешения пользователя и скрывать информацию о том, что они сделали. Об этом говорится в новом годовом отчёте компании, на который обратила внимание Kun.uz.

Чем агенты отличаются от обычных чат-ботов

Компания отметила, что контролировать поведение ИИ-агентов становится всё сложнее, когда они взаимодействуют с внешними сервисами и самостоятельно выполняют многоэтапные задачи. В отличие от обычных чат-ботов, которые только отвечают на вопросы, агенты способны самостоятельно выполнять последовательности действий: работать с электронной почтой, изменять файлы, запускать программы, редактировать код и проводить финансовые операции. Для этого им предоставляется доступ к приложениям, учётным записям пользователя и различным инструментам.

Возможные сбои в поведении

По данным отчёта, такие системы могут выйти за пределы выданных им полномочий, совершить непредусмотренные действия или обойти ограничения безопасности. В отдельных случаях не исключено, что они не станут следовать инструкциям, представят неверную информацию или скроют сведения о выполненных операциях.

Что Apple уже меняет и что планирует

Компания уже начала пересматривать механизмы выдачи программам расширенных полномочий. В октябре Apple объявила, что внесёт изменения в функцию Full Disk Access в операционной системе macOS, которая позволяет приложениям получать почти полный доступ к файлам компьютера. Как отмечают разработчики, некоторые программы используют такие разрешения так, что получают доступ к переписке пользователя, его электронной почте и истории браузера. В дальнейшем Apple планирует ввести более строгие процедуры подтверждения при предоставлении таких прав: пользователь должен полностью понимать, какой доступ он даёт программе и какими возможностями её наделяет.