Robot.txt! Mungkin istilah ini sudah tidak asing lagi ditelinga para blogger, namun mimin yakin pasti ada beberapa orang yang masih belum tahu dan sekedar tahu saja
Nah maka dari itu dalam artikel kali ini mimin akan menjelaskan semua tentang robot.txt dengan bahasa yang semudah mungkin agar mudah untuk dipahami
Jadi apa saja yang ingin dibahas disini? Baiklah, di sini mimin akan menjelakan sedikit tentang :
- Pengertian robot txt
- Fungsi robot txt
- Cara setting robot txt di blogger yang mudah
- Cara menggunakan robot txt di blogger
Apa itu Robot Txt?
robot txt atau bahasa keren nya protokol pengecualian robot adalah sebuah script yang bertujuan untuk mencegah perayapan/crawl web untuk menjelajahi seluruh web yang ada di internet.
Itu adalah pengertian mudahnya ya sob, kalau kepanjangan nanti malah bingung.
Lanjut..
Apa Fungsi Robot Txt?
Robot txt memiliki fungsi memberikan sebuah command tertentu kepada mesin pencari ketika mereka ingin mencoba menjelajahi website kamu.
Contohnya gini, ketika google ingin menjelajahi website kamu, maka file yang pertama kali di rayapi(crawl) oleh google adalah file dari robot txt itu sendiri
So, search engine atau mesin pencarian akan tahu apakah blog kamu ingin di crawl seluruhnya, sebagian saja atau mungkin tidak ingin di jelajahi sama sekali.
Bagaimana Cara Setting Robot Txt di Blogger?
Caranya sangatlah mudah asalkan sobat membaca, memahami, mempelajari dan mempraktekannya.
Jadi silahkan sobat Salin dulu script di bawah ini, mimin saranin untuk menggunakan notepad agar nantinya mudah ngeditnya
1. Robot.txt default (bawaan blogger)
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://blog-anda.blogspot.com/sitemap.xml
Keterangan :
- User-agent: Mediapartners-Google | Penanda bahwa blog sobat menggunakan Googe Adsense
- Disallow: | Tidak diizinkan / Larangan
- User-agent: * | Semua robot pencari
- Disallow: /search | Melarang URL setelah /search
- Allow: / | Diizinkan untuk dirayapi
- Sitemap: https://blog-anda.blogspot.com/sitemap.xml | Peta situs blog sobat
2. Robot.txt Custom
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://blog-anda.blogspot.com/sitemap.xml
Keterangan:
Script berwarna biru yang mimin buat di atas ini maksudnya melarang mesin pencari untuk merayapi halaman about dan contact pada blog sobat
Jika salah satu yang berwarna biru diatas sobat ubah menjadi privacy policy, maka akan melarang mesin pencari untuk merayapi halaman privacy policy. Begitu pula denga halaman disclaimer dsb.
Bagaimana Cara Memasang Robot.txt di Blogger?
Jika sobat ingin membuat custom robot txt dan tajuk robot kusus di blogger, ada beberapa langkah yang harus sobat lakukan.
Berikut langkah-langkahnya :
1. Langkah awal jika ingin mengaktifkan robot txt custom, tentunya sobat harus login terlebih dahulu di akun blogger sobat
2. Jika sudah, silahkan pergi ke menu setelan kemudian pilih preferensi penelusuran. Maka disitu akan ada pilihan untuk mengaktifkan atau menonaktifkan robot.txt ini (klik edit)
Karena kita ingin membuat robot.txt jadi kita pilih aktifkan, lalu isi kotak kosong dengan script yang sudah sobat copy diatas, kemudian klik simpan perubahan.
Nah, dengan begitu sobat sudah berhasil membuat robot txt di blogger
Oh iya, kalo sobat ingin mengaktifkan tag tajuk robot kusus, caranya sama yaitu silahkan klik setelan lalu pilih preferensi penelusuran dan pilih tajuk robot kusus tepatnya berada bawah robot txt.
Tujuan dari setting robot txt ini adalah untuk mengijinkan mesin pencari untuk mengindeks semua isi blog sobat, tetapi tidak memperbolehkan mesin pencari untuk mengindeks halaman arsip dan penelusuran.
Demikian artikel tentang cara mudah setting robot txt di blogger. Semoga kalian paham dan bermanfaat ya sob.
Posting Komentar
Posting Komentar