ИИ в дезинформации - это уже не «страшилка», а операционный риск.
25 августа OpenAI отчиталась, что заблокировала кластер аккаунтов ChatGPT, по всей видимости из России. Через них писали посты и комментарии в соцсетях, которые продвигали «экспертное сообщество» International Burke Institute. Охват у кампании был небольшим, но собрана она была непривычно тщательно. Для меня тут важен не геополитический сюжет, а практический вывод: как только у вас появляется генерация контента в продукте или внутри компании, вы автоматически становитесь частью цепочки «контент, доверие, решения».
Что взять в работу (даже в маленьких проектах):
- не выпускать генерацию «в прод» без модерации/контроля качества
- разделять режимы: черновик для человека != автопубликация
- логировать источники промптов/контента и вводить лимиты
- заранее продумать «красные зоны» (финансы, юр. документы, публичные заявления).
Если вы строите RAG/бота/генератор контента - безопасность и политика использования должны быть частью архитектуры, а не пунктом «потом допишем».