Panduan Singkat tentang Robots.txt

Apa itu robots txt

Coba bayangkan di dalam sebuah website terdapat ratusan konten yang tersedia. Mulai dari konten blog, isi dari halaman beranda, atau bahkan caption e-commerce yang ada di website. Apakah semua hal tersebut masuk ke dalam Google secara otomatis? Jawabannya tentu iya, tetapi ada sebuah skrip yang akan menahan bahwa tidak semua konten yang ada di dalam website ini bisa ditampilkan di Google.

Itulah guna kasar dari Robots.txt. Pada tahun 2010, ketika SEO sedang sangat berjaya, Robots.txt diisi dengan skrip yang konon bisa mengubah hasil pencarian Google. Beberapa tahun kemudian, Anda tidak perlu lagi membuat skrip yang tidak terlalu kompleks karena sudah ada bantuan dari WordPress dengan plugins. Di dalam artikel kali ini akan dibahas apa itu Robots.txt dan kegunaannya untuk para master SEO.

Apa itu Robots.txt?

Jika sebelumnya kita membahas apa itu Sitemap, maka sekarang saatnya kita membahas Robots.txt. Secara garis besar, Robots.txt kegunaannya saling berkaitan dengan Sitemap. Jika Sitemap bertujuan agar website dikenal oleh Google, maka Robots.txt ini bertujuan agar seluruh isi website bisa di-crawl atau diindeks oleh Google.

Misalnya dalam sebuah website, Anda sudah mendaftarkan atau membuat Sitemap. Jika Anda tidak membuat Robots.txt, maka isi yang akan ditampilkan di SERP Google akan random atau sembarangan. Padahal fungsi utama dari Robots.txt adalah menentukan konten apa saja di dalam website yang ingin ditampilkan di SERP Google.

Fungsi utama dari Robots.txt

Seperti file extension-nya, Robots.txt ini berisi text HTML yang bisa menyajikan isi di dalam website Anda. Misalnya Anda memiliki puluhan kategori website, Anda bisa memilih hanya menampilkan beberapa kategori saja. Bahkan Anda bisa melakukan setting, misalnya untuk kategori A, itulah yang akan ditampilkan sebagai halaman utama.

Lalu, apa fungsinya bagi para pengunjung? Coba bayangkan misalnya website Anda fokus menampilkan produk A, tetapi gara-gara Anda salah dalam mengedit Robots.txt, malah produk lain yang muncul sebagai produk utama. Jadi, jika Anda menginginkan produk andalan utama muncul di awal, Anda harus mengetahui cara mengedit Robots.txt.

Belajar mengenai Robots.txt

Sekarang masuk ke dalam tahap bagaimana belajar mengenai Robots.txt. Jika Anda menggunakan engine WordPress, Anda bisa leluasa untuk membuka serta mengedit isi Robots.txt. Selain melalui edit manual di dalam engine WordPress, Anda juga bisa mengedit Robots.txt dengan plugins yang sudah disediakan oleh WordPress.

Ada beberapa jenis plugins, yaitu Yoast SEO dan All in One SEO Pack. Untuk Yoast SEO, Anda bisa membuka Robots.txt tanpa melalui database. Walaupun begitu, jika Anda takut salah edit, Yoast SEO sudah mempunyai setting sendiri yang sudah powerful.

Plugins selanjutnya adalah All In One SEO Pack. Kelebihan dari plugins ini adalah Anda tinggal melakukan edit yang fiturnya sudah disediakan oleh plugins. Misalnya, Anda bisa memilah mana saja website yang di-crawl oleh Google.

Itulah beberapa hal yang bisa Anda jadikan pedoman tentang apa itu Robots.txt, fungsi, dan bagaimana cara membuatnya. Tidak perlu dipaksakan belajar bagaimana cara membuat Robots.txt, hal terpenting adalah Anda mengetahui seluk beluk dan fungsi-fungsi utama di dalamnya. Semoga bermanfaat dan sukses menerapkannya!

Share this post :

Scroll to Top
WhatsApp chat