Почему AI-краулеры могут не видеть цены на сайтах туроператоров

01

Что показал анализ Vercel и MERJ

Тот же анализ показывает, что GPTBot скачивал файлы JavaScript примерно в 11,5% запросов, но никогда их не запускал. Значит, бот технически получает скрипты, но не интерпретирует их и не строит из них DOM-дерево страницы.1

02

Кто рендерит JavaScript, а кто нет

По оценке агентства Onely (февраль 2026), 42% контента, отрисованного JavaScript, вообще не попадает в индекс AI-систем. Это самая крупная опубликованная количественная оценка разрыва видимости, но она встречается только в одном источнике, без описания выборки и методологии подсчёта.2

Отдельная путаница возникает вокруг ботов OpenAI. Компания использует три отдельных краулера: GPTBot, ChatGPT-User и OAI-SearchBot, у каждого своя строка в файле robots.txt. Если сайт блокирует только GPTBot, видимость в поисковых ответах ChatGPT это не меняет: за неё отвечает OAI-SearchBot, а не GPTBot, который собирает данные для обучения моделей.7

03

Что показала проверка туристических сайтов

В июне 2026 года проверили файлы robots.txt девяти крупных туристических сайтов. Платформы бронирования booking.com, expedia.com, airbnb.com, kayak.com, marriott.com и hilton.com не блокируют AI-краулеров, то есть заинтересованы в их доступе. Сайты с отзывами и редакционным контентом tripadvisor, yelp и lonelyplanet, напротив, часть краулеров блокируют.5

Из этого можно предположить, что бизнес-логика различается: booking-платформы ориентированы на широкую видимость в AI-ответах, а сайты с пользовательским контентом чаще защищают его от массового сбора. Но открытый доступ через robots.txt не гарантирует, что краулер реально видит содержимое страницы: правило в robots.txt касается разрешения на обход, а не способности бота исполнить JavaScript и увидеть цену, если она подгружается скриптом.5

04

Почему одностраничные приложения невидимы для краулеров

Одностраничные приложения на React, Vue или Angular строят содержимое страницы в браузере пользователя с помощью JavaScript. Краулер, который делает обычный HTTP-запрос и не выполняет скрипты, получает от такого сайта пустую HTML-оболочку: условно, тег div с идентификатором app без содержимого внутри. Контент, который появляется только после гидратации, то есть после того как браузер выполнил JS и «оживил» страницу, для краулера, читающего сырой HTML, не существует.64

Технически решить проблему можно через серверный рендеринг, статическую генерацию или пререндеринг: тогда контент формируется на сервере или заранее и попадает прямо в HTML-ответ, который отдаётся любому клиенту, включая краулера без поддержки JavaScript. Рендеринг через безголовый браузер, то есть выполнение JS-кода без графического интерфейса, требует значительных вычислительных ресурсов и увеличивает время ответа, поэтому большинство AI-краулеров не используют его при массовом сканировании.61

Для команды это означает, что если цены, условия бронирования или наличие мест на сайте туроператора загружаются клиентским JavaScript после начальной отрисовки страницы, эти данные почти наверняка невидимы для ChatGPT, Claude и Perplexity, даже если сайт формально открыт для их краулеров в robots.txt. Прямого аудита именно туристических booking-платформ на этот счёт в источниках нет, поэтому вывод остаётся переносом общей закономерности JS-рендеринга, а не проверенным для отрасли фактом.16

05

Что проверить туроператору или агрегатору

06

Чего эти данные не доказывают

Основное количественное доказательство, лежащее в основе всей темы (более 500 миллионов фетчей GPTBot и отсутствие исполнения JavaScript), восходит к одному исследованию Vercel и MERJ. Независимого повторного измерения в 2026 году в собранных материалах нет, поэтому нельзя сказать, изменилось ли поведение краулеров с момента исходного анализа.1

В материалах отсутствует прямой технический аудит конкретного туроператора, агрегатора или инфраструктурного проекта на предмет того, как AI-краулеры реально обрабатывают их JS-контент. Все выводы для туристической отрасли являются переносом общих закономерностей JavaScript-рендеринга на предположительно похожую архитектуру booking-платформ, а не результатом прямого измерения.56

Источники, использованные в разборе, преимущественно принадлежат блогам SEO- и AEO-агентств и вендоров аналитики, заинтересованных в продаже аудитов и услуг по внедрению серверного рендеринга. Это не отменяет технической достоверности описанного механизма, но может влиять на тональность выводов и на то, насколько драматично подаётся масштаб проблемы. Оценка в 42% контента, не попадающего в индекс AI-систем, приведена только одним источником без описания выборки и методологии и не подтверждена другими материалами.2