Google menjelaskan mengapa perayapnya mengabaikan tip sumber daya Anda – Beragampengetahuan

Gary Illyes dan Martin Splitt dari Google menggunakan episode podcast Search Off the Record untuk mendemonstrasikan cara crawler Google memproses HTML. Percakapan ini mengungkap perbedaan antara cara browser dan Googlebot menangani laman yang sama.

Diskusi mencakup petunjuk sumber daya, penempatan metadata, dan validasi HTML. Beberapa penjelasan Elise menantang asumsi tentang perubahan teknologi mana yang membantu penelusuran.

Mengapa Tips Sumber Daya Tidak Membantu Googlebot

Fitur kinerja browser seperti dns-prefetch, preload, prefetchDan preconnect Selesaikan masalah latensi yang tidak ada pada infrastruktur Google.

Illyes mengatakan resolusi DNS Google tidak memerlukan bantuan yang coba disediakan sebagian besar situs web.

Dia berkata:

“Misalnya, ini bisa sangat membantu jika Anda memiliki Internet yang buruk untuk pengambilan awal DNS. Dalam kasus kami, kami tidak perlu melakukan itu karena kami dapat berkomunikasi dengan semua server DNS yang mengalir dengan sangat cepat.”

Dia menambahkan bahwa Google menyimpan sumber daya halaman secara individual dan tidak mengambilnya secara real-time seperti yang dilakukan browser. Elis mengatakan Google melakukan ini untuk mengurangi bandwidth dan beban server di situs web yang dirayapinya.

Elise berkata:

“Sama seperti preloading. Kalau kita tidak sinkron, maka kita tidak perlu mendengarkan dan melihat secara khusus pada preloading.”

Google menggunakan API Aturan Spekulatif untuk mempercepat klik pada hasil pencarian bagi pengguna Chrome. Sistem ini berfungsi karena beroperasi pada tingkat browser, di mana latensi antara pengguna dan server menjadi penting. Googlebot berjalan dalam infrastruktur Google sendiri dan tidak mengalami hambatan ini.

Baik Illyes maupun Splitt tahu bahwa tips ini masih dapat bermanfaat bagi pengguna. Pemuatan halaman yang lebih cepat meningkatkan tingkat retensi dan konversi. Perbedaannya adalah perubahan ini memengaruhi pengalaman browser, bukan perayapan atau pengindeksan.

Metadata milik header

Splitt berbagi kasus ketika tag skrip yang sesuai di header dimasukkan ke dalam iframe, sehingga memicu perilaku penutupan header browser. Ini mendorong tag tautan hreflang ke badan teks, dan Split mengatakan sistem Google mengabaikannya dengan benar.

Elis menjelaskan mengapa Google sangat ketat dalam hal ini. satu meta name="robots" Tag, menurut standar hidup HTML, hanya dapat muncul di kepala. Hal yang sama berlaku untuk rel=canonical Elemen tautan.

Dia berkata:

“Menurut saya, sangat berbahaya jika memiliki elemen tautan yang membawa metadata di dalam teks.”

Alasannya adalah jika Google menerima tag kanonik dalam teks isi, sifat kanonik laman dapat dibajak dan dihapus dari hasil penelusuran dengan memasukkan markup.

Illyes sebelumnya telah memberikan panduan tentang penguraian HTML dan implementasi rel-kanonik, merekomendasikan untuk mengeja jalur URL lengkap dalam tag kanonik untuk menghindari ambiguitas parser. Itu adalah ide yang sama yang pernah didengar, dengan posisi kepala yang jelas sehingga tidak perlu menebak-nebak.

Efektivitas HTML tidak sama dengan keunggulan peringkat

Illyes menjelaskan secara langsung mengapa HTML yang valid tidak berfungsi sebagai sinyal peringkat. Validitas bersifat biner, artinya valid atau tidak valid, tanpa spasi di antaranya. Illyes mengatakan sulit untuk melakukan sesuatu yang berarti dengan metrik lulus/gagal.

“Sulit untuk mengatakan sesuatu hampir berhasil. Lalu seperti apa yang Anda lakukan ketika sesuatu hampir berhasil.”

Dia memberikan contoh hilangnya tag span penutup yang secara teknis akan membuat HTML suatu halaman tidak valid, namun seperti yang dikatakan Illyes, “hal tersebut tidak akan mengubah apa pun bagi pengguna.”

Splitt setuju, dan mencatat bahwa markup semantik (seperti hierarki judul yang tepat dan elemen struktural HTML5) juga tidak berarti apa-apa bagi mesin telusur, meskipun dapat berguna untuk aksesibilitas dan pengalaman pengguna.

mengapa ini penting

Tinjauan teknis mungkin menandai peluang permintaan sumber daya dan kesalahan validasi HTML. Memahami mana saja yang memengaruhi perayap Google dan mana yang memengaruhi browser dapat membantu Anda memprioritaskan perbaikan mana yang harus diperbaiki.

Ketika tag hreflang, tautan kanonik, atau arahan robot meta tidak berfungsi seperti yang diharapkan, hal pertama yang harus diperiksa adalah apakah tag tersebut berakhir di badan laman setelah browser mengurai laman. Jika skrip atau iframe memicu penutupan header sebelum waktunya, tag yang tampak benar di HTML sumber mungkin muncul di lokasi yang salah.

Roger Montti menjelaskan pedoman cache perayap Google yang diperbarui, yang merekomendasikan penggunaan header ETag untuk mengurangi perayapan yang tidak perlu. Panduan ini sesuai dengan apa yang dijelaskan Elise dalam episode ini.

Melihat ke masa depan

Splitt menyebutkan bahwa perintah klien adalah topik orisinal yang ingin dia bahas, dan diskusi penguraian HTML adalah dasar untuk episode mendatang. Jika peristiwa ini terjadi, peristiwa ini mungkin mencakup cara Googlebot menangani konten baru Accept-CH Dan Sec-CH-UA Header pengganti untuk string agen pengguna lama.

Percakapan selengkapnya tersedia di YouTube dan Apple Podcasts.