Анализ файла Robots.txt в больших масштабах с помощью HTTP Archive и BigQuery.

В этом эпизоде ​​подкаста Search Off the Record Мартин и Гэри превращают простой вопрос о robots.txt в глубокий анализ данных с помощью HTTP Archive, WebPageTest, пользовательских метрик JavaScript и BigQuery. Они изучают, как на самом деле создаются миллионы реальных файлов robots.txt в 2025–2026 годах, какие директивы и пользовательские агенты наиболее распространены и что это значит для современных поисковых роботов и ботов с искусственным интеллектом. Идеально подходит для начинающих и разработчиков среднего уровня, а также для SEO-специалистов. Вы узнаете, как работает крупномасштабное измерение веб-поиска (HTTP Archive, Chrome UX Report, Web Almanac) и как превратить необработанные данные сканирования в полезные SEO-идеи. Подпишитесь, чтобы получать больше откровенных разговоров о сканировании, индексировании и данных, лежащих в основе работы Google Search и веб-пространства. Ресурсы: Веб-альманах → https://almanac.httparchive.org/en/2025/ Пользовательская метрика Robotstxt для HTTP Archive → https://github.com/HTTPArchive/custom... Изменение парсера robots.txt → https://github.com/google/robotstxt/c... Транскрипт эпизода → https://goo.gle/sotr108-transcript Слушайте больше подкастов Search Off the Record → https://goo.gle/sotr-yt Подпишитесь на канал Google Search → https://goo.gle/SearchCentral Search Off the Record — это подкаст Серия подкастов, которая покажет вам закулисье поиска Google вместе с командой по связям с поисковыми системами. #SOTRpodcast #SEO #GoogleSearch Спикеры: Мартин Сплитт, Гари Иллиес