Як Google знаходить нові сайти та сторінки?

Що означає URL discovery і як Google дізнається про існування нової сторінки? Що таке Googlebot і яку роль він відіграє у знаходженні нових URL? Як Google знаходить нові сторінки через внутрішні посилання? Як зовнішні backlinks можуть допомогти Google знайти новий сайт або сторінку? Яку роль у знаходженні URL відіграє XML Sitemap? Чи гарантує додавання URL у Sitemap, що Google обов’язково просканує та проіндексує сторінку? У чому різниця між Google знайшов URL → просканував URL → проіндексував URL? Чому сторінка без внутрішніх посилань, так звана orphan page, може бути складнішою для знаходження Google? Які технічні проблеми можуть заважати Googlebot знаходити або сканувати нові сторінки? Як SEO-фахівцю допомогти Google швидше та правильніше знаходити нові сторінки сайту?