Видимость ChatGPT Search: краулеры, robots.txt и трекинг переходов
Видимость ChatGPT Search начинается с краулеров
Видимость ChatGPT Search начинается с краулеров: то, как сайт настроен для краулеров OpenAI, определяет видимость в ChatGPT Search сильнее любого контента, а обзор этих краулеров OpenAI публикует открыто, и различия между ними решают, что реально контролируют ваши правила robots.txt. GPTBot краулит, чтобы генеративные foundation-модели были полезнее и безопаснее, - запрет означает, что контент не используется в обучении моделей. OAI-SearchBot - поисковый краулер, позволяющий страницам попадать в результаты поиска ChatGPT. ChatGPT-User ведёт себя иначе обоих: он действует по явным действиям пользователя в ChatGPT и Custom GPTs, не краулит автоматически и не используется для определения, появится ли контент в поиске. Для рекламодателей есть четвёртый - OAI-AdsBot валидирует безопасность страниц, поданных как ads, ходит только по этим страницам и не обучает foundation-модели. Одна политика robots.txt не может обслужить все четыре цели, потому что видимость в поиске и включение в обучение - разные решения.
Три слоя доступа, которые блокируют молча
Гайд OpenAI для рекламодателей проходит три слоя, где доступ умирает молча. Первый - robots.txt: краулеры OpenAI уважают его, и запрет останавливает обход немедленно; фикс - явные allow-правила для нужных user agents и путей. Второй - веб-защита и бот-митигация: сервисы вроде Cloudflare или Akamai защищают от скрейпинга и могут принять легитимные краулеры за автоматический трафик, отдавая 403 Forbidden, пока их user agents не внесены в allowlist. Третий - human verification: CAPTCHA, JavaScript-челленджи и валидация сессий блокируют автоматические системы даже после robots.txt и файрвола. Командам, которым нужен allowlist по сети, OpenAI публикует стабильные диапазоны IP краулеров JSON-файлами на openai.com/searchbot.json и openai.com/adsbot.json, - и документация предупреждает не полагаться на краткосрочные наблюдения IP из логов, поскольку инфраструктура краулеров эволюционирует.
Лендинги рекламодателей: особый случай с обязательным требованием
У рекламодателей в robots.txt есть обязательная строка: OAI-AdsBot должен быть разрешён, потому что OpenAI использует его для валидации соответствия страниц, поданных как ads, рекламным политикам. OpenAI также использует контент лендинга, чтобы определять, когда показ объявления наиболее релевантен, так что доступ краулера формирует доставку, а не только комплаенс. Рекомендация - разрешить и OAI-AdsBot, и OAI-SearchBot: первый держит кампанию проходимой через ревью, второй оставляет тот же домен eligible для органической видимости в поиске. Лендинг, прошедший ad review при заблокированном OAI-SearchBot, решил половину задачи - и половины живут на разных краулерах по замыслу.
Трекинг трафика, который зарабатывает видимость
Видимость имеет ценность, только когда приходящий трафик считается. Органические переходы из ChatGPT к моменту прихода на сайт - обычные браузерные визиты с referrer chatgpt.com, поэтому сегменты по referrer в вашей аналитике отделяют их без дополнительной сантехники. У платных размещений - собранных в Ads Manager - есть второе измерение: доставка через Conversions API привязывает конверсии к конкретным объявлениям через механику click ID, которой у органических цитирований нет. Серверная доставка через MOST держит события конверсий текущими в ChatGPT Ads, Meta, TikTok, Reddit, Snapchat и Pinterest, а бесплатный Pixel Activator валидирует один лендинг на pixel.way2.us.
Порядок проверки проблем видимости
Когда страницы не появляются или ad review застревает на доступности, из гайдов OpenAI следует порядок проверки. Сначала прочитайте robots.txt для нужных user agents - единственный запрет останавливает всё немедленно. Затем с инфраструктурой проверьте бот-митигацию и файрволы на 403-ответы против user agents OpenAI, занося их в allowlist по user agent, где возможно. Третий слой - application-уровень: CAPTCHA и челленджи, пропускающие людей, но не краулеры. Предпочитайте user-agent-based и провайдер-верифицированные allowlist'ы правилам только по IP, ссылаясь на опубликованные JSON-файлы, когда IP-списки неизбежны. А флоу валидации конверсионного трекинга подтверждает, что traffic, когда он придёт, измеряется правильно от клика до зачёта.