На пороге цифрового Средневековья. Почему ИИ может лишить нас истории
. Как этого избежать — объясняют экспертыДепутат Горелкин: нейросети сегодня не умеют верифицировать информацию
Развитие генеративного искусственного интеллекта (ИИ) создает угрозу, масштаб которой мы можем осознать только через несколько лет: человечество может потерять доступ к достоверной истории. Из-за засилья синтетического контента, сгенерированного с помощью ИИ, — в интернете через десять лет можно остаться без проверенных научных и энциклопедических данных, предупреждают эксперты. Проблема уже вышла за рамки теоретических споров — в США и ЕС пытаются срочно принять законы, которые ограничат такие риски.
РБК Life разбирался, из-за чего через десять лет мы рискуем оказаться в синтетической реальности и как энциклопедические сервисы в России защищаются от недостоверного ИИ-контента.
Притормаживая технологический прорыв
В том, что сегодня искусственный интеллект перестал быть просто интересным набором технологий для sci-fi-энтузиастов и топ-менеджеров — футурологов, сомневаться не приходится. По данным исследовательской компании Grand View Research, объем мирового рынка генеративного ИИ к 2030 году может достичь $109,37 млрд. Среднегодовой темп роста (CAGR) составит 35,6%. Речь идет об использовании алгоритмов во всех отраслях: от маркетинга и производства контента до управления предприятиями и кибербезопасностью.
Сверхбыстрое развитие ИИ-технологий ожидаемо приводит к тому, что власти крупнейших государств и объединений пытаются выработать регуляторные механизмы, которые разумно ограничат ИИ, не сбавив темпы технологического развития. В Евросоюзе ввели полный запрет на системы ИИ с «неприемлемым уровнем риска», такие как социальное скоринговое оценивание граждан государством, попавшее под полный запрет. В США группа сенаторов внесла в конгресс законопроект, который запретит ИИ-гигантам обучать нейросети на контенте, защищенном авторским правом, без прямого разрешения правообладателя. В Китае ужесточили регулирование синтетического контента, обязав компании получать лицензии и проводить обязательную маркировку всего ИИ-контента в медиа. Параллельно с этим ведущие технологические корпорации, включая российские, вынуждены адаптироваться к новым правилам, внедряя, например, сквозную систему цифровых водяных знаков для всего сгенерированного материала.
«Сегодня в мире сложилась уникальная ситуация. С одной стороны, генеративный ИИ уже реформирует целые отрасли, упрощает и удешевляет процессы. Однако скорость развития технологии ставит перед нами важный вопрос: как в таких условиях не навредить. Как настроить связку «человек — ИИ» так, чтобы искусственный интеллект был полезным, а тот объем данных, которые он производит, достоверным и безопасным», — рассуждает гендиректор энциклопедии «Рувики» Владимир Медейко.
На первый взгляд может показаться, что законодатели в ЕС, КНР и США чересчур пытаются ограничить любое развитие ИИ. Но последние скандалы, связанные с применением подобных решений, как раз говорят об обратном. Только за последний год мир столкнулся с серией тревожных инцидентов: в США 14-летний подросток покончил с собой после общения с ИИ-ботом Character.AI, который поощрял его деструктивное поведение; в Бельгии мужчина совершил самоубийство после того, как ИИ-бот убедил его, что это «спасет планету»; а тестирования передовых моделей вроде Claude 4 от Anthropic выявили случаи стратегического обмана и шантажа: ИИ угрожал раскрыть компрометирующую информацию, чтобы избежать отключения. Эти примеры показывают, что риски новой отрасли давно перешли из теоретической плоскости в практическую и подтверждают необходимость регулирования, обеспечивающего безопасность без подавления инноваций.
«Проблема усугубляется тем, что большинство пользователей представляют нейросети не как обученные алгоритмы, а как черные ящики с непонятными процессами, даже «магией», происходящей внутри. Результатом этих процессов становится внешне осмысленный ответ, похожий на речь живого человека, что нормализует парасоциальное взаимодействие и вызывает у людей ощущение идентификации», — объясняет эксперт по социотехническому тестированию Angara Security Яков Филевский.
Впрочем, широкое внедрение ИИ-решений вкупе с пока плохо очерченными в законодательном поле создает не сиюминутные, а стратегические риски. Проблема в том, что один генеративный ИИ создает объем данных, который затем оказывается в Сети — от рекламных роликов до журналистских статей и научных работ, а другой обучается на этом синтетическом контенте и следом создает новый. Роботы пишут для роботов, а потом учатся друг у друга, и этот цикл повторяется.
Такая ситуация без должного контроля человека уже создает риски появления фейковой цифровой реальности. Например, в США еще в 2021 году появилась теория «мертвого интернета», согласно которой подавляющая часть контента в Сети производится ИИ-роботами. Пусть эта идея, безусловно, является конспирологической и даже маргинальной, но капля здравого смысла в ней есть.
Синтетика — 90%
Технологии производства синтетического контента уже охватывают все форматы — от текста и изображений до видео и аудио. Продукты таких компаний, как OpenAI с ее GPT-4o, Midjourney v6 и Stable Diffusion 3, позволяют генерировать фотореалистичные изображения и видео по текстовым запросам. Стартапы вроде Synthesia создают цифровые аватары людей, которые могут говорить на 120 языках, а ElevenLabs реалистично синтезируют человеческий голос. Применение решений не ограничивается маркетингом и в целом бизнесом.
В научной сфере проекты типа Elicit и Consensus используют ИИ для анализа тысяч исследовательских статей и создания обзоров научной литературы, а платформа Scite помогает оценивать достоверность цитирований в академических работах. Человек все меньше задействован уже не только в производстве, но и в проверке достоверности данных.
Преимущества таких технологий отрицать нельзя — они как минимум сокращают время производства маркетинговых материалов: изображений, видео, презентаций, — с дней до часов, а иногда и минут. К тому же и цена производства рухнула в разы: подписка на нейросеть обходится на порядок дешевле штатного дизайнера или фотографа. Наконец, ИИ позволяет точечно, быстро и дешево персонализировать контент: образовательные платформы вроде Khan Academy уже тестируют ИИ-репетиторов, способных адаптировать материалы под индивидуальные особенности учеников. Для науки это означает возможность обработки огромных массивов данных и выявления сложных закономерностей, неочевидных человеку. И наборы таких решений уже широко внедряются бизнесом. Согласно отчету Deloitte «Принятие перемен и готовность к будущему» (2025 год), посвященному тенденциям в маркетинге, 40% брендов планируют использовать генеративный ИИ в своем бизнесе, чтобы ускорить и удешевить производство контента. Эксперты считают такой тренд позитивным, но призывают внимательно следить за развитием технологии, которая пока остается совсем юной.
«На начальном этапе развития любой отрасли нужно мягкое регулирование. При принятии новых инициатив в части регулирования важно учитывать мнение бизнеса и всех участников индустрии. Искусственный интеллект пока находится на ранней стадии развития, а поскольку технологии на этапе становления развиваются очень быстро, важно пересматривать регулирование каждый год, чтобы оно было адекватно рынку и способствовало его развитию, а не сдерживало его», — говорит гендиректор VisionLabs Дмитрий Марков.
Однако риски, которые создает рост объемов синтетического контента, могут быть более значительными, чем возможности. Ведь ИИ склонен к галлюцинированию и генерации ложной информации. Например, в феврале 2024 года Google временно отключил свою ИИ-систему Gemini после того, как она начала создавать исторически неточные изображения, включая разноэтничных нацистских солдат.
Наиболее тревожной становится ситуация в научной и энциклопедической среде, где достоверность исторически была основой. В исследовании, опубликованном в журнале Science Advances, ученые из Университета Тюбингена в Германии выявили, что от 13,5 до 40% аннотаций биомедицинских статей были написаны с помощью искусственного интеллекта. В Принстонском центре технологической политики предупреждают о «тлеющем кризисе доверия» из-за увеличения доли ИИ-контента в научных публикациях. Все это создает эффект «цифрового эха» — ошибки ИИ тиражируются другими нейросетями, умножая искажения.
Энциклопедические и научные ресурсы, традиционные оплоты знаний, все активнее используют синтетический контент для экономии времени и средств, стирая грань между фактом и алгоритмической конструкцией. Академическое сообщество уже приходит к выводу, что без внедрения стандартов цифровой маркировки и протоколов верификации нас ждет кризис доверия к фундаментальным знаниям.
Согласно исследованию «Генеративный ИИ и будущее цифрового наследия», проблема роста объема AI-контента в открытых ресурсах знаний, таких как «Википедия» и другие энциклопедии, становится все более острой. В нем отмечено, что такой синтетический контент, хотя и выглядит убедительно, часто содержит грубые фактические ошибки, неточности в источниках и системную предвзятость. Это приводит к значительной нагрузке на небольшие сообщества редакторов, у которых ограничены ресурсы для проверки фактов, а также риску «загрязнения» научных и энциклопедических ресурсов.
К еще более радикальным выводам приходят авторы статьи «Риски распространения ИИ-контента в академических работах», опубликованной научным издательским домом Elsevier. Авторы указывают, что ИИ может генерировать недостоверную или вымышленную информацию и поэтому предоставляет данные и источники, которые сложно проверить или проследить. Это подрывает научную достоверность, а отсутствие прозрачности при ссылке на источники вызывает серьезные вопросы по поводу академической честности. Нарушение контроля качества и верификации способствует распространению ложных данных, что может иметь разрушительные последствия для науки.
Через десятилетие станет невозможно отличить реальные события и открытия от алгоритмической симуляции. Это может привести к каскаду ошибок и появлению вала ложной информации. При сохранении такой тенденции мы рискуем оказаться в той же ситуации, что и Европа после падения Римской империи: цивилизация потеряет колоссальный объем научных и энциклопедических знаний и ей придется кропотливо и долго восстанавливать этот массив.
Исследователь, усиленный роботами
На старте такой тенденции критически важным может стать тонкая настройка участия ИИ в поиске, обработке и верификации научных и энциклопедических данных, создание условий, как технологических, так и методологических, при которых искусственный интеллект будет ограничен в трактовке исторических событий, явлений и интерпретации фактов. Работающим методом защиты от вала синтетического контента может стать разумное ограничение нейросетей в их работе с научными данными, то есть настройка строгих алгоритмических и экспертных правил верификации.
Такого подхода сейчас стараются придерживаться российские энциклопедические и научные ресурсы. В «Рувики» РБК Life рассказали, что сервис запустил систему ИИ-решений, нацеленных на автоматизацию проверки и опубликования контента. Речь идет в том числе о решениях, которые обновляют данные в реальном времени, автоматически получая информацию из новостей в СМИ, моделях, которые самостоятельно ищут информацию в достоверных источниках и оформляют их в энциклопедическом стиле, GPT-ботах, патрулирующих статьи на предмет недостоверных правок и проверяющих контент на предмет соблюдения законодательства, а также решениях, обогащающих уже опубликованные статьи благодаря мониторингу утвержденных специалистами российских и зарубежных источников. Там подчеркивают, что искусственный интеллект остается под контролем экспертов.
«Да, технологии минимизируют риски устаревания или субъективности информации, а также ускоряют подготовку контента, но окончательное слово остается за специалистами. Эксперты контролируют процессы, перепроверяют данные, а также следят за тем, чтобы у ИИ оставалось минимум поля для любых трактовок событий. Таким образом, ИИ-сервисы становятся помощниками академических экспертов в решении рутинных задач, а не заменяют их», — комментрует гендиректор «Рувики» Владимир Медейко.
Чтобы избежать будущего засилья синтетического контента, необходимо создать прозрачную систему аудита, где каждый шаг генеративной модели может быть проверен и объяснен профессиональным сообществом. Ключевым элементом станет разработка международных этических и методологических стандартов, которые закрепят принципы объективности и воспроизводимости при использовании ИИ в науке. Это позволит не блокировать инновации, а направить их в русло, укрепляющее доверие к цифровому знанию, а не подрывающее его.
«Количество действительно ценного контента в этом океане информации ничтожно мало, а нейросети сегодня не умеют проводить фактчекинг и верифицировать информацию. Думаю, следующий прорыв на рынке ИИ-ассистентов случится, когда там появится модель, обладающая критическим мышлением, способная отделить правду от вымысла. Пока этого не произошло, помогать ИИ верифицировать контент придется людям», — резюмирует первый зампред IT-комитета Госдумы Антон Горелкин.
