Блокировка AI-краулеров на туристических сайтах: что доказывают данные 2026 года

01

Что показали новые данные о блокировке

Проверка девяти туристических сайтов в июне 2026 года показала: хотя бы одного AI-краулера через robots.txt блокируют только три из них, то есть 33,3%. Это ниже среднего показателя по всем отраслям, который составляет 44,9%. Выборка крайне мала и не претендует на статистическую представительность всей туристической отрасли, но направление понятно: туризм не входит в число секторов, наиболее активно закрывающихся от AI-ботов.1

На уровне всего веба картина иная: доля топовых сайтов, блокирующих GPTBot, достигла 35,7%. Методология подсчёта топовых сайтов в источнике не раскрыта подробно, и этот показатель нельзя напрямую сопоставлять с травел-выборкой, поскольку речь идёт о разных наборах сайтов и разных методах отбора.2

Ещё одно исследование, основанное на сканировании 706 реальных сайтов (преимущественно клиентских проектов SEO-специалистов), даёт заметно более низкую цифру: хотя бы одного AI-краулера блокируют только 11,6% сайтов. Выборка смещена в сторону клиентов агентств и не случайна по отрасли, туристические сайты в ней отдельно не выделены. Три источника с разными выборками дают три разных числа: 33,3%, 35,7% и 11,6%. Само это расхождение говорит о том, что единой отраслевой нормы блокировки пока не сложилось.5

Отдельный отчёт по 1905 доменам показывает: у 85% из них в robots.txt вообще нет какой-либо AI-специфичной политики. Иными словами, большинство сайтов ещё не приняли осознанного решения, блокировать доступ AI-ботам или явно разрешить его. Данные относятся к апрелю 2026 года и к выборке заметных доменов без выделения туристического сектора.7

02

Почему не все блокировки одинаковы

Ключевое различие часто теряется в общих цифрах: AI-краулеры делятся на тренировочных ботов и поисково-цитирующих ботов. GPTBot компании OpenAI и ClaudeBot компании Anthropic собирают данные для обучения моделей и не участвуют в формировании живого ответа на конкретный запрос пользователя. За цитаты, которые видит пользователь в ChatGPT, Claude или Perplexity, отвечают другие боты: OAI-SearchBot у OpenAI и PerplexityBot у Perplexity. Именно они формируют индекс для ответов в реальном времени.4

Из этого следует, что блокировка GPTBot или ClaudeBot сама по себе почти не отражается на видимости сайта в сегодняшних AI-ответах. По оценке одного из источников, около 95% сайтов, которые считают себя защищёнными от AI-краулеров, на деле заблокировали только тренировочного бота, а не бота, отвечающего за цитаты. Эта цифра приведена без ссылки на первичную методологию расчёта внутри самого источника, поэтому её стоит воспринимать как экспертную оценку, а не как измеренный факт.3

03

Кто в туризме блокирует AI-ботов, а кто нет

В выборке из девяти туристических сайтов блокирующими оказались TripAdvisor, Yelp и Lonely Planet: проекты, построенные на пользовательских отзывах и редакционном контенте. Крупные букинговые и гостиничные платформы, включая Expedia, Booking.com, Airbnb, Kayak, Marriott и Hilton, оставили AI-краулеров открытыми. Наблюдение сделано на одной сессии сбора данных по девяти сайтам, поэтому распространять его на весь рынок отзывов и весь гостиничный сектор автоматически нельзя, но сам паттерн заслуживает внимания.1

Можно предположить, что издания и платформы с пользовательским контентом острее чувствуют вопрос авторства и вторичного использования отзывов, тогда как букинговые сервисы заинтересованы в максимальном присутствии в любых каналах, включая AI-ответы, поскольку это ведёт к прямым бронированиям. Предположение логично сочетается с бизнес-моделями обеих групп, но само исследование не проверяло мотивы владельцев сайтов, поэтому вывод остаётся гипотезой, а не установленным фактом.1

Для национальных туристических офисов и туроператоров, публикующих открытые данные о ценах, маршрутах и достопримечательностях, открытый доступ для поисково-цитирующих ботов теоретически повышает шанс попасть в AI-ответ о направлении. Но количественных данных о приросте цитирований именно для туристических организаций в доступных источниках нет, поэтому эффект стоит оценивать по собственным логам и мониторингу упоминаний, а не по общим отраслевым цифрам.14

04

Как массовая блокировка искажает измерение AI-видимости

Источник Parceit приводит пример: когда CNN блокирует GPTBot, ChatGPT перестаёт использовать материалы CNN при формировании ответов (s6). Это утверждение расходится с типологией ботов, которую описывают SEOvengers и Kompozy: там GPTBot назван тренировочным ботом, который почти не влияет на сегодняшние AI-цитаты (s3, s4). Возможное объяснение в том, что Parceit не разделяет тренировочных и поисково-цитирующих ботов так строго, как два других источника, и приводит пример с GPTBot там, где технически точнее было бы говорить про Google-Extended и влияние на Google AI Overviews. Это расхождение между источниками стоит учитывать: строгих доказательств того, что блокировка именно GPTBot убирает сайт из живых ответов ChatGPT, в собранных источниках нет.634

При этом общий механизм, который описывает Parceit, логичен независимо от конкретного бота. Когда крупные источники массово закрывают доступ обучающим или поисково-цитирующим системам, пул материалов, из которых строятся AI-ответы, сужается. В августе 2026 года BBC, The New York Times, CNN, Reuters и USA Today заблокировали Google-Extended, бот, который Google использует для обучения моделей и для формирования ответов с опорой на источники.6

Для туристической отрасли из этого следует практический вывод: если небольшой отель или региональный туроператор заметил рост упоминаний в AI-ответах, причиной может быть не улучшение собственного контента, а уход крупных изданий или конкурентов из индекса того бота, который формирует конкретный AI-ответ. Проверить это напрямую сложно, но стоит зафиксировать момент любых заметных изменений в собственной видимости и сопоставить его с новостями об изменениях robots.txt у крупных игроков в своей нише.6

05

Что проверить отелю, DMO или туроператору

06

Что эти данные не доказывают

Ни один из доступных источников не содержит прямого эксперимента до и после блокировки с измерением частоты цитирования именно туристических сайтов в AI-ответах. Все выводы о влиянии блокировки на видимость строятся на архитектурном описании того, как устроены разные типы ботов, а не на контролируемом измерении реального изменения показателей после смены robots.txt. Сами источники при этом не всегда согласуются друг с другом: Parceit описывает пример с GPTBot и CNN как отключающий ChatGPT от материалов издания, тогда как SEOvengers и Kompozy относят GPTBot к тренировочным ботам с минимальным влиянием на сегодняшние AI-ответы. Это расхождение в терминологии дополнительно ограничивает уверенность выводов о конкретном боте.346

Специфичные для туризма цифры о доле блокирующих сайтов основаны на выборке всего девяти сайтов, собранной за одну сессию в июне 2026 года. Это слишком узкая база для отраслевых обобщений. Вывод о том, что букинговые платформы системно ведут себя иначе, чем UGC-проекты, стоит проверять на более широком наборе данных, прежде чем принимать решения об изменении собственного robots.txt.1

Оценка о том, что около 95% формально заблокированных сайтов на деле закрыли только тренировочного бота, приведена без ссылки на первичную методологию подсчёта в самом источнике. Данные о блокировке GPTBot на уровне 35,7% и о принятии файлов AI-обнаружения на уровне 7,2% относятся к общему вебу или к топовым доменам в целом, а туристический сектор отдельно не выделяют. Из этого следует, что любые количественные ориентиры в этом материале стоит использовать как контекст для собственной проверки, а не как готовую норму для сравнения конкретного отеля, DMO или туроператора.327