Сьогодні, здійснюючи пошук в Google, користувачі стикаються з AI Overviews — пошуковим роботом на базі Gemini, який з'являється на верхній частині сторінки результатів. Після свого запуску в 2024 році, AI Overviews отримав чимало негативних відгуків через низьку точність, але з часом ситуація покращилася, і він здебільшого надає правильні відповіді. Однак, згідно з новими даними, 1 з 10 відповідей AI виявляється хибною, що для Google означає сотні тисяч помилок щохвилини.
З аналізом точності AI Overviews допомогла стартап Oumi, яка розробляє AI-моделі. Використовуючи інструменти AI для дослідження, компанія протестувала AI Overviews на контрольному наборі SimpleQA, що містить понад 4000 питань з перевіреними відповідями. У 2024 році тест показав 85% точності, але після оновлення Gemini 3 точність зросла до 91%. Це означає, що AI Overviews щодня генерує десятки мільйонів неправильних відповідей.