Сотрудники Центра цифровой журналистики Tow при Колумбийском университете провели масштабное исследование, которое выявило критические проблемы в работе современных поисковиков с генеративным ИИ. Результаты показали, что более 60% запросов о новостных источниках обрабатываются этими системами с серьезными ошибками.
Ошибки ИИ-поисковиков: кто показал худший результат?
В исследовании протестировали восемь популярных ИИ-поисковиков. Результаты оказались тревожными:
- Perplexity — предоставлял некорректные ответы в 37% случаев.
- ChatGPT Search — ошибался в 67% запросов (134 из 200).
- Grok 3 — продемонстрировал наивысший уровень ошибок, неверно отвечая на 94% запросов.
Проблема заключалась в том, что вместо отказа от ответа при отсутствии достоверной информации, ИИ-алгоритмы нередко генерировали правдоподобно звучащие, но фактически неверные сведения. Это искажает восприятие пользователей и повышает риск распространения дезинформации.
Платные версии сервисов: меньше точности за деньги?
Ожидалось, что премиальные версии сервисов будут демонстрировать более высокий уровень точности. Однако результаты оказались противоположными:
- Perplexity Pro (подписка $20/месяц) и
- премиум-версия Grok 3 ($40/месяц)
— давали больше неверных ответов, чем их бесплатные версии. Это ставит под сомнение оправданность платных подписок, особенно с учетом уровня ошибок.
Игнорирование правил доступа: проблема с этикой и приватностью
Исследование также выявило, что некоторые ИИ-поисковики игнорируют протокол Robot Exclusion Protocol, который используется издателями для ограничения несанкционированного доступа к контенту.
Например, бесплатная версия Perplexity смогла корректно идентифицировать все 10 фрагментов материалов издания National Geographic, которые были защищены платным доступом. Это произошло несмотря на то, что издание явно запретило веб-краулерам Perplexity индексировать свой контент.
Такое поведение ИИ-сервисов ставит вопросы о законности и этичности использования закрытых данных и вызывает опасения относительно конфиденциальности.
Ложные URL и несуществующие ссылки
Еще одной серьезной проблемой стало создание несуществующих URL-адресов, которые вводят пользователей в заблуждение.
- У Google’s Gemini и Grok 3 более половины предоставленных ссылок вели на несуществующие или нерабочие страницы.
- У Grok 3 из 200 протестированных ссылок, 154 оказались недействительными.
Это не только снижает доверие пользователей, но и создает угрозу распространения недостоверной информации.
Почему это важно?
Ошибки генеративных ИИ-поисковиков напрямую влияют на достоверность и качество информации, доступной пользователям. Особенно это критично в контексте новостей и исследований, где каждая ошибка может привести к дезинформации и подрыву доверия к источникам.
Кроме того, использование закрытых материалов без согласия издателей нарушает этические нормы и может привести к юридическим последствиям.
Какие меры необходимы?
Для повышения точности и надежности ИИ-поисковиков необходимы следующие шаги:
- Улучшение алгоритмов цитирования — системы должны быть обучены корректно обрабатывать запросы, особенно когда речь идет о проверенных новостных источниках.
- Введение механизмов отказа от ответа — ИИ должен иметь возможность сообщать о недостаточности данных, а не генерировать ложные факты.
- Соблюдение правил доступа — разработчики должны строго придерживаться протоколов доступа и не использовать контент, закрытый для индексирования.
- Корректная генерация URL — требуется пересмотр механизмов генерации ссылок, чтобы избежать создания ложных и несуществующих адресов.
- Усиление ответственности за дезинформацию — разработчики ИИ-поисковиков должны нести ответственность за качество предоставляемой информации.
Итог
Исследование Центра Tow продемонстрировало, что текущий уровень точности ИИ-поисковиков оставляет желать лучшего. Проблемы с неправильным цитированием, созданием ложных ссылок и игнорированием протоколов доступа подрывают доверие к этим технологиям.
Для повышения качества работы ИИ-алгоритмов необходима системная доработка и более строгие стандарты ответственности. В противном случае риски дезинформации и нарушения авторских прав будут только нарастать.