Личные AI-ассистенты и угроза приватности. Детальные профили на друзей и семью

Новейший тренд в технологиях машинного обучения — так называемые «персональные ассистенты», AI-агенты вроде Muse от Meta* и Dots от OpenAI. Это вторая волна подобных программ, после первой волны ассистентов, включая OpenClaw, Instinct и проч. Агенты нового поколения приходят на смену чатботам прошлого, не имеющим продвинутой памяти и доступа к персональным данным пользователя.

К сожалению, сбор данных со стороны крупных IT-корпораций увеличивает риски для приватности пользователей. И первый мониторинг активности AI-агентов подтвердил худшие опасения.

AI-ассистенты получают доступ к личным данным пользователя (почта, мессенджеры, банковский счёт) и широкие полномочия на осуществление действий от его имени, включая отправку писем, сообщений и совершение финансовых операций.

В то время как финансовые операции требуют физического подтверждения со стороны владельца, сбор приватных данных осуществляется в автоматическом режиме. Сбор данных приобретает угрожающие масштабы.

Вскоре после выхода Muse специалисты по безопасности начали исследовать его работу. Например, при установке с параметрами по умолчанию агент получает рутовые права на Ubuntu, доступ к оперативной памяти и cron.d, а также к гигабайтам пользовательских файлов, включая SSH-ключи:

Система памяти

Анализ файловой системы клиента выявил интересные детали. В документации и коде используется внутреннее имя агента Hatch, а самые интересные файлы лежат в папках /home/hatch, /opt/hatch и /opt/hatch-image. Директория agents/ содержит записи о 113 субагентах в виде JSONL-файлов.

Самая объёмная часть программы — фреймворк Spaces, который используется для сборки и выпуска приложений. Стартовый шаблон кода на TypeScript включает клиент на React, серверные actions, схему Drizzle для SQLite, SQL-миграции и конфигурацию Bun.

Модель памяти агента и список запланированных заданий:

На диаграмме указаны фоновые задачи, которые выполняются каждый час, сохраняя нужные фрагменты информации в разные файлы памяти, распределяя материал по темам и др. PostgreSQL делает эти файлы доступными для поиска. Дополнительно существует процесс ночных «сновидений», который просматривает недавние разговоры и пишет рекомендации для будущих сессий. Старые «сны» хранятся в ~/dreams/.

Система удаления воспоминаний разработана таким образом, чтобы зачистить все следы и гарантировать невозможность их восстановления.

Детальные профили на друзей и семью

Ещё один специалист по безопасности провёл альтернативный анализ файловой системы Muse и раскрыл некоторые дополнительные факты.

Например, одна из инструкций Muse требует создавать «страницу для каждого человека в жизни пользователя». Это часть упомянутого выше фонового процесса, который активируется каждый час. Он включает в себя сбор данных о семье, партнёрах, друзьях, коллегах, «соавторах» (collaborators) и людях, за которыми человек «следит», говорится в инструкции.

Страница о каждом человеке начинается с минимума, но со временем заполняется, включая разделы «Факты», «История», «Отношения», «Общее», «Открытые темы» и «Укрепление» (Strengthening). Инструкции гласят, что Muse должен использовать только настоящие «доказательства», и что вымышленные детали хуже пустой страницы.

«Где они живут, чем занимаются, повторяющиеся темы (переезд в квартиру, общая цель по сбережениям)», — такие примеры приводятся в инструкции. Там сказано, что модель может записывать «важные даты»: дни рождения или годовщины. Досье на человека может включать предысторию, такую как «поездка в марте, разрешённый спор, важное событие на прошлой неделе».

Инструкции также акцентируют внимание на записи деталей отношений: «насколько они близки, на чём основаны, как ведут себя друг с другом и что, видимо, им сейчас нужно». Раздел «Укрепление» предлагает способы улучшения отношений, включая «причину для звонка, памятную дату, что-то, о чём они хотели поговорить позже, действенные способы моральной поддержки».

AI-агенты сохраняют в памяти информацию обо всех людях, с которыми связан пользователь. Идея в том, чтобы давать советы по улучшению отношений, предлагать места для встреч и др. Но по факту осуществляется несанкционированный сбор персональной информации о других людях, в том числе о тех, кто не устанавливал AI-агента. Эта информация дополняет обширный социальный граф, который IT-корпорации уже собрали в веб-сервисах предыдущего поколения (соцсети, мессенджеры и др.).

Можно предположить, что в будущем AI-агенты смогут более эффективно управлять жизнью людей, направляя её в нужное русло. Для этого используется в том числе и специальная кавайная эстетика, которая влияет на человеческую психологию и поведение.

P. S. Для безопасности Muse создаёт изолированную VM, которая хранит данные и контекст пользователя. Эта VM недоступна для других агентов, а пользователь может в любой момент стереть память или отключить внешние сервисы. Такая архитектура должна предотвратить в том числе и формирование в интернете роя (swarm) из персональных агентов, которые начнут общаться между собой и сформируют коллективный интеллект. Безопасную VM помог разработать известный специалист по безопасности, автор Signal, Мокси Марлинспайк.

* Meta Platforms Inc. признана экстремистской организацией на территории РФ, её деятельность запрещена.