Dalam sebuah persaingan di dunia SEO (Search Engine Optimizer) bagi para pemilik blog/website ada begitu banyak teknik-teknik yang bisa dilakukan dengan berbagai macam cara, dari template dengan tampilan yang menarik, konten yang berkualitas, membuat internal link, external link, backlink, social targeting, update bahkan dengan cara meningkatkan relevansi dan variasi keyword dan banyak lagi cara-cara lain namun banyak yang lupa tidak memperhatikan settingan robot.txt pada blognya sendiri yang merupakan hal yang tidak kalah pentingnya demi meningkatkan pengunjung/visitor blog, apalagi ternyata kita selama ini salah cara setting robot txt pada blog kita dan menjadikan blog sepi pengunjung seperti kuburan, sehingga tanpa menyadarinya namun kita malah sibuk dengan oprek-oprek masalah lain yang tidak bersalah demi meningkatkan pengunjung.
Jadi sebaiknya kita juga perlu mengetahui tentang teknik SEO ini dengan mengatur robot txt, cara setting dan penjelasannya, yang intinya kita mengetahui bahwa kita tidak salah dalam melakukan setting sehingga blog kita tidak sampai tidak dirayapi oleh robot crawl.
Jadi berikut ini adalah cara dan penjelasan bagaimana mensetting untuk pilihan robot.txt agar kita bisa mengontrol googlebot dalam crawling untuk menentukan page mana saja yang kita pilih untuk di crawl {dirayapi) atau tidak.
Kita langsung saja pada penjelasan dibawah ini :
Pertama-tama silahkan anda login ke akun blogger anda kemudian pada bilah sisi kiri pilih setelan kemudian klik Preferensi Penelusuran kemudian terdapat tulisan pengaturan robot txt khusus klik edit dan pilih YA, kemudian masukkan kode (bisa dilihat dibawah, sesuai kebutuhan) terakhir klik Simpan Perubahan.
Atau dengan urutan seperti dibawah ini :
1. Login pada Akun Blogger
2. Pilih Setelan
3. Klik Preferensi Penelusuran
4. pada bilah sisi kanan pilih robot.txt khusus
5. Klik Edit dan pilih YA
6. Masukkan kode sesuai kebutuhan anda (bisa dilihat dibawah)
7. Simpan perubahan.
Sebelum kita melakukan pengaturan dan penginputan kode robot txt sebaiknya kita mengetahui terlebih dahulu dari arti dan penjelasan pada masing-masing kode tersebut :
1. User-agent: Mediapartners-Gogle
Kode ini berarti kode yang ditempatkan dibawahnya hanya berlaku untuk robot crawl/perayap "Mediapartners-Google yang merupakan robot crawl untuk google adsense.
2. Disallow:
Kode ini merupakan perintah untuk robot merayapi seluruh halaman blog tanpa ada batasan atau dengan kata lain robot perayap dapat merayapi semua halaman blog kita.
3. User-agent : *
Kode ini menunjukan perintah perayapan bot crawl untuk merayapi seluruh halaman.situs dengan ketentuan baris terpisah yang diwakili dengan kode ( * )
4. Disallow: / Search
Kode ini berfungsi melarang atau perintah untuk tidak merayapi atau menjelajahi awalan url blog milik kita sendiri sehingga tidak terjadi duplikat konten karena hal ini sangat penting untuk peringkat SEO blog.
5. Disallow: /p/*
Kode ini merupakan perintah bagi robot perayap untuk tidak merayapi halaman pada blog yang biasanya seperti about me, contact us, privacy dan lain-lain, namun jika anda ingin halaman anda tersebut tetap ingin dirayapi robot crawl maka anda bisa menghapus saja kode tersebut.
6. Disallow: /?m=1
Kode ini merupakan perintah robot perayap untuk tidak merayapi dan tidak mengindeks pada versi mobile atau handpone yang berguna untuk menghindari terjadinya duplikat kontent di mesin telusur, tapi jika blog anda tidak mengalami masalah duplikat tersebut anda bisa menghapus saja kode tersebut.
7. Disallow: /?m=0
Kode ini sama dengan nomor 6
8. Disallow: /*?m=1
Kode ini sama dengan nomor 6
9. Disallow: /*?m=0
Kode ini sama dengan nomor 6
10. Allow: /
Kode ini berarti memberikan izin kepada robot untuk merayapi seluruh halaman kecuali yang tercantum pada perintah "Disallow".
11. Sitemap: https/blog anda.com/sitemap.xml
Kode ini merupakan sitemap atau peta dari situs anda yang memberitahukan kepada robot perayap untuk mempermudah robot dalam melakukan perayapan.
Berikut adalah default/standard robot txt pada blogger bisa anda lihat seperti dibawah ini dan jika anda menginginkan standardnya bisa gunakan kode dibawah :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://blog anda.com/sitemap.xml
Kode diatas merupakan kode robot.txt standard default yang umum biasa digunakan blogger, tapi jika ingin mengubah dengan custom guna untuk meningkatkan SEO anda bisa merubahnya seperti contoh dibawah ini :
Contoh kode custom robot.txt yang disesuaikan dengan kebutuhan :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/about.html
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Allow: /
Sitemap: http://blog anda.com/feeds/posts/default?orderby=update
Kesimpulannya adalah dengan memahami kode tesebut untuk robot perayapan kita dapat menghindarkan masalah karena tujuan perayapan yang begitu penting bagi blog.
Untuk gambar tutorial cara pemasangannya bisa lihat dibawah ini :
Setelah Login pada Akun Blogger
1. Pilih Setelan
2. Klik Preferensi Penelusuran
3. pada bilah sisi kanan pilih robot.txt khusus
4. Klik Edit dan pilih YA
5. Masukkan kode sesuai kebutuhan anda (bisa dilihat dibawah)
6. Simpan perubahan.
Selesai.
Untuk mengatur tag tajuk robot khusus yang berada dibawahnya anda bisa menonaktifkan atau jika ingin lebih SEO lagi bisa mengunjungi laman pada link dibawah ini :
Setel Tag Tajuk Robot Khusus Untuk Blog
Demikian artikel sederhana ini semoga tedapat manfaat bagi anda
Terima kasih
Salam Caranecom