К ленте · Россия

РоссияСтатьяМодели

Почему нейросети описывают продукт общими словами, хотя на сайте он расписан подробно, и как от этого застраховаться

Обычно происходит вот как: описание продукта на сайте занимает три экрана, всё разжёвано и выглядит вкусно для читателя а ChatGPT, GigaChat, Алиса AI и Perplexity отвечают о нём...

Обычно происходит вот как:

  • описание продукта на сайте занимает три экрана, всё разжёвано и выглядит вкусно для читателя
  • а ChatGPT, GigaChat, Алиса AI и Perplexity отвечают о нём общими словами или путают его с конкурентом

Вся соль в том, что нейросети читаюи не весь сайт, а несколько найденных фрагментов, и если в них нет прямого текста о том, что это за продукт и для кого он, подробности на остальных страницах ей не помогут. Часть текста может не дойти до ИИ вообще: Vercel и MERJ выяснили, что роботы ChatGPT и Claude скачивают скрипты страницы, но не запускают их, так что текст, который сайт дорисовывает в браузере, до них не доходит.

Поэтому в тех фрагментах, которые нейросеть может найти, должен быть точный текст о том, что это за продукт, для кого он и чем отличается, и находиться этот текст должен в коде страницы.

Откуда ChatGPT и Алиса AI берут текст вашего сайта

Как нейросеть читает сайт, зависит от сервиса: у ChatGPT свои роботы, а Алиса AI сама сайты не обходит и опирается на Поиск Яндекса. По справке OpenAI о роботах, за поиск ChatGPT отвечает OAI‑SearchBot: через него сайты попадают в результаты поиска. GPTBot собирает данные для обучения моделей и с поиском не связан, настройки в robots.txt у них независимы. Есть ещё ChatGPT‑User: он открывает страницу, когда пользователь задал вопрос, но сеть сам не обходит и на попадание сайта в поиск не влияет.

Алиса AI, по справке Яндекс Вебмастера, разбивает вопрос на подвопросы, отправляет их в Поиск Яндекса и использует его результаты. Она опирается на страницы, которые высоко ранжируются, и дословно их не воспроизводит. Готовый ответ Алиса делит на смысловые блоки, и у каждого может быть своя страница‑источник. Для Алисы AI это значит, что у плохо ранжированной страницы мало шансов стать источником, а для поиска ChatGPT важно, пущен ли на сайт OAI‑SearchBot.

Почему роботы ChatGPT и Claude не видят текст, который на странице дорисовывает скрипт

Роботы ChatGPT и Claude получают от сервера HTML (исходный код страницы до выполнения скриптов) и файлы JavaScript, но скрипты не выполняют. Краулер — это робот, который обходит страницы и скачивает их; JavaScript — код, который достраивает страницу уже в браузере посетителя.

В исследовании Vercel и MERJ, вышедшем в декабре 2024 года, файлы JavaScript составляли 11,50% запросов краулера ChatGPT и 23,84% запросов Claude. Скачанный скрипт для робота остаётся текстом программы: страницу, которую он собрал бы в браузере, робот не видит.

Если описание продукта подгружается скриптом, в исходном HTML его нет. Vercel советует отдавать описание продукта, метаданные и навигацию в готовом HTML через серверный рендеринг (SSR): страница собирается на сервере, и робот сразу получает текст. Иначе, по словам авторов, ответы ИИ о динамических сайтах будут неполными или устаревшими.

У робота Яндекса по умолчанию всё иначе: он сам решает, выполнять ли JavaScript на странице. Если на сайте есть серверный рендеринг или пререндеринг, выполнение скриптов можно запретить, а для текста, который появляется с задержкой, есть настройки ожидания.

Что нейросеть узнает о ценах, если их пишет скрипт или страницы с ценами нет

С самого сайта ничего: цены из скрипта роботы без JavaScript не видят, а без страницы с ценами нейросеть берёт цифры у третьих лиц. Profound проверила 77 публичных страниц с ценами, и у 10 из них, примерно у каждой восьмой, роботам не был виден минимум 40% основного текста. Подробно эти страницы могли быть написаны как угодно: для ИИ‑робота этой части там нет.

На собственном сайте Profound цены тоже рисовал скрипт в браузере, и ИИ‑краулеры, которые брали исходный HTML, их не видели. Помог перенос цен на серверный рендеринг.

Хуже, когда страницы нет совсем. У одного продукта из исследования Profound публичной страницы с ценами не было, и ответы нейросетей подтянули цифры у третьих лиц, часто из обсуждений на Reddit: от примерно $100 до $2 400 за пользователя в месяц. Разница в 24 раза для одного и того же продукта: на такой ответ покупатель опереться не может.

Увидит ли нейросеть разметку Schema.org, если информации о продукте нет в самом тексте

Нет: когда пять ИИ‑систем читали страницу в реальном времени, они брали только видимый HTML. Ahrefs проверил ChatGPT, Claude, Perplexity, Gemini и Google AI Mode. JSON‑LD (блок кода, где данные о продукте записаны для машин по словарю Schema.org), скрытая микроразметка Microdata и RDFa игнорировались у всех пяти. Тем, кто держит цену или характеристики только в разметке, это неприятная новость.

Ahrefs отследил ещё 1 885 страниц, которые добавили JSON‑LD с августа 2025 по март 2026, и сравнил их с 4 000 контрольных. Среди страниц, которые нейросети уже цитировали, цитирований в AI Mode и ChatGPT после этого больше не стало, в AI Overviews стало на 4,6% меньше, и уверенно связать это с разметкой авторы не могут. Страницы с разметкой в целом цитируются чаще, но Ahrefs объясняет это тем, что разметка живёт на более ухоженных сайтах с сильным контентом и ссылками. Google и вовсе пишет, что для AI‑функций его поиска специальная разметка Schema.org не нужна.

Значит, единственной копией факта разметка быть не должна: для кого продукт, сколько стоит и чем отличается, стоит написать и в видимом тексте.

Нейросеть берёт со страницы несколько кусочков, и в каждом должна быть информация о вашем продукте

Нейросеть получает несколько найденных фрагментов страницы, и если в них нет прямого текста о том, что это за продукт и для кого он, подробности на остальных страницах ей не помогут. Что бывает с вырезанным куском, Anthropic показывает в разборе поиска по фрагментам документов: фрагмент о том, что выручка компании выросла на 3% за квартал, сам по себе не называет ни компанию, ни период, и найти по нему нужное или использовать его трудно.

Anthropic предлагает перед индексацией дописывать к каждому фрагменту пояснение в 50–100 токенов (токен — кусочек слова, которым ИИ‑модель считает текст): из какого он документа и о чём. В тестах на собственных данных Anthropic поиск с такими пояснениями ошибался почти вдвое реже: 2,9% неудачных поисков вместо 5,7%. Дописать пояснение к абзацу, который вырезала чужая система, сайт не может, зато может сам вписать название продукта в каждый смысловой абзац.

Проблема не в том, что текста мало, а в том, что его нельзя пересказать по частям: маркетинговые формулировки подходят к тысяче продуктов, ключевые факты лежат в скриптах и картинках, а одной фразы, что это и для кого, на странице нет. Страницу нужно писать так, чтобы любой абзац, вырванный из контекста, правильно называл продукт.

Условный пример, продукт называется Кассир:

• Было: Решение, которое помогает расти и экономить время.

• Стало: Кассир — облачная касса для небольших интернет‑магазинов: принимает платёж, пробивает чек и отправляет его покупателю.

Шесть проверок сайта для нейросетей, чтобы ИИ точно увидела всю важную информацию о вашем продукте

  • Откройте robots.txt и найдите блок User‑agent: OAI‑SearchBot: от этого робота зависит, попадёт ли сайт в поиск ChatGPT. Строка Disallow: / в блоке закрывает сайт целиком. Если отдельного блока нет, действуют правила для User‑agent: *, и без Disallow: / в них доступ открыт.
  • Получите страницу продукта без JavaScript и найдите в ней название продукта, цену и слова о том, для кого он. Подойдёт исходный код страницы в браузере или команда:
curl -s https://example.ru/product | grep -ci облачная

Ноль значит, что в исходном HTML этого слова нет: его дорисовывает скрипт или его нет на странице вообще. Так же проверьте текст из вкладок и слайдеров: если его нет в исходном коде, робот его не получит. Важные факты из PDF и картинок продублируйте текстом на странице. Я уже сверял тестовую страницу с копией, которую получают ИИ‑боты: текст совпал на 97%, а цена в копии оказалась старой.

  • Если нужного текста в исходном HTML нет, переносите его на серверный рендеринг или пререндеринг. Для робота Яндекса в Вебмастере есть отдельные настройки выполнения скриптов.
  • Сверьте JSON‑LD с видимым текстом: каждое значение из разметки должно стоять и на самой странице.
  • Прочитайте каждый абзац о продукте отдельно, без заголовка страницы. Если из него не понять, что за продукт, для кого он и чем отличается, допишите.
  • Спросите ChatGPT, GigaChat, Алису AI и Perplexity, что это за продукт и для кого он, и сравните ответы с сайтом. Если ответ неверный, а пункты 2–5 в порядке, откройте источники, на которые ссылается нейросеть, и найдите чужую страницу с неверными сведениями: без публичной страницы с ценами нейросети брали цифры у третьих лиц.

С чего начать правку сайта для нейросетей

Всё просто — проверить текст в коде страницы, затем каждый абзац о продукте. В оптимизации сайта под нейросети начинать стоит с пункта 2: пока текста нет в исходном HTML, для роботов ChatGPT и Claude его нет, и переписывать абзацы рано. Следом идёт пункт 5, потому что даже видимый текст нейросеть берёт кусками.

Что в этих данных неточно. Исследование Vercel и MERJ вышло в 2024 году, с тех пор роботы могли измениться, а выполняют ли скрипты роботы GigaChat и Perplexity, неизвестно. В Profound ребята собрали ответы с 29 июля по 10 августа 2026 года, только про цены, и сами предупреждают, что движки регулярно меняют цитирование. Ahrefs считал, как часто страницы цитируют, точность пересказа он не проверял.

Текст в исходном HTML и абзацы с названием продукта не гарантируют точного пересказа, но без них нейросети остаётся собирать продукт из общих слов и чужих страниц. Интересно, менялся ли у кого‑нибудь пересказ продукта в ответах нейросетей после перехода на серверный рендеринг?

Источник: Хабр · статьиПубликуется с разрешения правообладателя, подтверждённого редакцией.Оригинал: Почему нейросети описывают продукт общими словами, хотя на сайте он расписан подробно, и как от этого застраховаться ↗

Есть кому отправить?

Скопируется постоянная ссылка на этот материал.

Комментарии

0

Обсудите материал с другими читателями.

Загружаем комментарии…

Ваш комментарий

Комментарии и оценки — через Яндекс ID