Crawlability — наскільки легко automated bots — включно з ШІ-краулерами — можуть отримати доступ і розібрати контент сайту. Якщо сторінку не можна досягти або прочитати через crawl-шлях, цей шлях загалом не може її проіндексувати, grounding або процитувати.
Простими словами
Заблоковані маршрути в robots.txt, контент лише після важкого JavaScript, зламані посилання та неохайна розмітка зменшують crawlability.
Наприклад, ключова comparison page, що рендериться лише client-side, може бути невидимою для краулера, який не виконує scripts.
Хороша crawlability означає, що боти можуть отримати важливі сторінки і розібрати їхній зміст у server-rendered або іншому доступному HTML.
Чому це важливо
Retriever не може отримати сторінку через шлях, який сайт блокує або не віддає, тому доступ і читабельний HTML необхідні для цього retrieval-шляху.
Успішний crawling сам по собі недостатній: indexing, ranking, релевантність запиту та поведінка провайдера все одно визначають, чи використають сторінку.