Fungsi dari Robot.txt Pada Sebuah Blog

Indzgn - Robot.txt pada sebuah blogger sangatlah penting. Mengapa? hal ini berguna untuk membantu perayapan dan pengindex'an blog di Search Engine.

Secara sederhana, Robot.txt ini merupakan sebuah konvensi untuk memerintah robot mesin pencari atau web crawler atau juga dapat mencegah sebuah halaman untuk diindex.

Contohnya, kamu tidak ingin halaman tertentu pada blog yang kamu kelola tidak ingin ditampilkan pada mesin pencari. Dengan Robot.txt inilah kita bisa memanfaatkannya agar dapat memblokir halaman tersebut.

Sebenarnya semua blogspot yang diberikan oleh Blogger sudah tersedia fitur Robot.txt ini. Secara default, susunan kode Robot.txt seperti di bawah ini.

HTML
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://indzgn.blogspot.com/sitemap.xml

Mungkin kamu bingung apa arti dari semua kode di atas. Baiklah, saya akan menjelaskannya satu persatu. Silahkan disimak.

Keterangan :
User-agent: Mediapartners-Google	User agent milik Google menandakan bahwa blog ini adalah milik Google
Disallow	Tidak diperbolehkan tidak ada
User-agent: *	Semua Robot Search Engine
Disallow: /search	Tidak diperbolehkan merayapi folder search dan seterusnya
Allow: /	Mengizinkan semua halaman untuk dirayapi, kecuali yang sudah Disallow.
Sitemap: http://indzgn.blogspot.com/sitemap.xml	Alamat feed blog/sitemap blog kamu