Поисковые роботы Google за кулисами

Разработчики часто говорят о Googlebot так, будто это единая программа, которую можно просто запустить как «googlebot.exe», но на самом деле индексирование Google работает не так. В этом выпуске подкаста «Search Off the Record» Мартин и Гэри из отдела по связям с поисковыми системами подробно рассказывают о том, как на самом деле устроена и функционирует инфраструктура индексирования Google. Они объясняют, почему название «Googlebot» является некорректным и как оно связано с централизованным программным обеспечением для индексирования, используемым многими продуктами Google, как централизованно контролируется поведение индексирования, чтобы избежать перегрузки сайтов (ограничение скорости, обработка ошибок 503 и меры безопасности «не нарушайте работу интернета»), и многое другое! Если вы занимаетесь веб-разработкой, работаете над SEO или просто хотите получить более точное представление о том, как Google индексирует страницы, это закулисное обсуждение для вас. Ресурсы: Краулеры → https://developer.google.com/crawling Транскрипт эпизода → https://goo.gle/sotr107-transcript Слушайте больше выпусков Search Off the Record → https://goo.gle/sotr-yt Подпишитесь на канал Google Search → https://goo.gle/SearchCentral Search Off the Record — это серия подкастов, которая знакомит вас с закулисьем поиска Google вместе с командой Search Relations. #SOTRpodcast #SEO #GoogleSearch Спикеры: Мартин Сплитт, Гари Иллиес