Setelah sesi yang penuh wawasan di hari pertama, saya kembali mengikuti Day 2 dari Google Search Central Deep Dive 2025 di Bangkok—dan hari ini fokusnya adalah pada aspek yang sering diabaikan, tapi sangat krusial dalam SEO: indexing.
Jika konten adalah raja, maka indexing adalah jalan menuju tahta. Tanpa indexing yang benar, konten sehebat apa pun tidak akan pernah muncul di hasil pencarian.
robots.txt: Sukarela, Tapi Bukan Sembarangan
Hal pertama yang ditegaskan oleh tim Google adalah bahwa robots.txt bersifat sukarela, bukan aturan yang secara ketat dipaksakan.
Namun, itu bukan berarti bisa diabaikan.
File robots.txt tetap sangat penting untuk mengontrol akses Googlebot terhadap berbagai bagian situs kita. Pengaturan yang salah bisa menyebabkan halaman penting justru tidak terindeks.
Fokus ke Kualitas URL, Bukan Kuantitas
Melalui Search Console, Google menyarankan kita untuk lebih memerhatikan crawl budget—terutama untuk situs besar.
Lebih baik 100 halaman berkualitas tinggi, daripada 10.000 halaman yang tipis, duplikat, atau tidak relevan.
Crawl budget terbatas. Prioritaskan URL yang benar-benar memberikan value bagi pengguna dan bisnis Anda.
6 Langkah Proses Indexing
Google menjelaskan secara rinci bahwa proses indexing melibatkan enam langkah utama:
-
Crawling: Mengunjungi halaman.
-
HTML Parsing: Memahami struktur DOM dari halaman.
-
Rendering: Menjalankan JavaScript jika diperlukan.
-
Feature Extraction: Mengumpulkan sinyal penting seperti metadata dan structured data.
-
Deduplication & Canonicalization: Memilih versi halaman terbaik untuk ditampilkan.
-
Serving: Menyajikan hasil pencarian berdasarkan relevansi.
Setiap tahapan ini bisa gagal, tergantung pada kualitas kode, status server, dan struktur konten.
JavaScript Bisa Jadi Pedang Bermata Dua
Banyak situs modern sekarang dibangun dengan JavaScript-heavy frameworks, yang membuat proses indexing menjadi lebih kompleks.
Contohnya:
Sebuah kasus dari Loki menunjukkan bahwa trafik naik dari 100 ribu ke 1,2 juta klik dalam 24 bulan setelah memperbaiki masalah JavaScript yang membuat kontennya tidak terbaca dengan baik oleh Google.
Masalah yang sering terjadi antara lain:
-
Rendered HTML berbeda dengan HTML asli
-
Soft 404 dengan kode status 200
-
URL fragments yang tidak bisa dibaca crawler
-
Script error yang membuat Google gagal membaca konten
Gunakan URL Inspection Tool (Search Console)
Jangan hanya mengandalkan status “halaman tampil di browser”.
Gunakan fitur Inspect URL untuk melihat apakah halaman:
-
Sudah diindeks
-
Masih dalam antrian crawling
-
Diblokir oleh robots.txt
-
Mengalami soft 404
-
Salah kode status
Halaman dengan status “URL is on Google” menandakan sukses di-crawl, di-render, dan di-index.
Structured Data, JSON-LD, dan Posisi Konten
Structured data tetap menjadi pilar penting untuk membantu Google memahami konten Anda.
Gunakan format JSON-LD, yang lebih bersih dan terpisah dari konten utama. Hindari plugin CMS yang menambahkan structured data berulang-ulang dan saling tumpang tindih.
Konten utama juga harus berada di bagian atas halaman dan ditulis dengan istilah yang jelas dan relevan. Ini berpengaruh pada tokenisasi dan pengambilan sinyal utama untuk ranking.
Deduplication dan Canonicalization
Google menggunakan machine learning untuk menentukan canonical URL saat terjadi duplikasi konten.
Menariknya, konten dalam bahasa berbeda (misal ID dan EN) tidak dianggap duplikat, tapi variasi antar regional (misal EN-US vs EN-SG) bisa masuk kategori duplikat jika isinya terlalu mirip.
Implementasi rel=canonical harus akurat karena Google tidak akan memverifikasi ulang jika setup-nya salah.
Studi Kasus Rakuten: 9x Trafik Naik karena Migrasi Terstruktur
Rakuten Group mempresentasikan strategi konsolidasi domain yang menggabungkan subdomain ke dalam satu situs utama.
Dengan bantuan Akamai reverse proxy dan redirect yang tepat, mereka berhasil:
-
Meningkatkan trafik 9x lipat
-
Meningkatkan session duration 1.7x
-
Mempercepat indexing dan pencapaian rich results
Mereka juga menambahkan structured data yang valid dan hanya menampilkan data yang relevan seperti ISBN, lokasi, dan kategori produk.
Google Trends: Alpha API dan Strategi Musiman
Menariknya, Google juga memperkenalkan versi alpha dari Google Trends API yang memungkinkan akses ke data real-time dan historis.
Contoh: pencarian “nanas” naik drastis menjelang Natal—maka konten tentang itu harus diterbitkan 1–2 bulan sebelumnya agar siap diindeks dan bersaing di momen puncak.
Kesimpulan: SEO Gak Cuma Konten, Tapi Juga Fondasi
Hari ini jadi pengingat kuat bahwa tanpa indexing yang baik, semua usaha SEO bisa sia-sia.
Optimasi teknikal seperti status kode, struktur HTML, dan penggunaan JavaScript yang benar sangat krusial.
Sukses SEO di era AI bukan hanya soal menulis konten bagus, tapi juga memastikan Google bisa membaca, memahami, dan menyajikannya.
Besok saya akan lanjut ke Day 3—pembahasan tentang ranking, quality, dan AI signals. Stay tuned!
