ОБУЧЕНИЕ· 1 мин чтения · 27 июля, 09:37
GPTBot заблокирован — обновите robots.txt
Сайты, блокирующие AI-краулеров, рискуют исчезнуть из ответов ChatGPT и других ИИ.
Многие сайты по инерции блокируют GPTBot и ClaudeBot, не осознавая потерю реферальных переходов. Habr советует проверять robots.txt.
✦ ProAgent AI
Обсудить внедрение ИИ-агентов в вашем бизнесе
Расскажите о задаче — посчитаем, сколько часов и денег сэкономит агент.
Обсудить внедрение →