Content-Signal — policy-директива robots.txt, що з’явилася у Cloudflare. Основні сигнали — search, ai-input і ai-train; пропущені сигнали не виражають переваги. Додаткове поле use для retention або reuse — ще розвивається. Ці сигнали заявляють policy-переваги і потребують співпраці краулера або окремого enforcement.
Простими словами
search охоплює побудову search index і повернення посилань або коротких уривків; не включає AI-generated summaries.
ai-input охоплює використання контенту як real-time input для RAG, grounding або generated search answers; ai-train охоплює навчання або fine-tuning моделей.
Рядок Content-Signal сам по собі не блокує мережевий доступ. Контроль доступу лишається в Allow/Disallow правилах і, за потреби, edge або application enforcement.
Чому це важливо
Це дозволяє брендам запрошувати бажані сценарії — наприклад цитування та grounding — і водночас виражати переваги щодо інших, не закриваючи краулерів повністю.
У міру дозрівання норм використання контенту явний сигнал документує намір для агентів, які його поважають.