Cara Mengatasi URL restricted by robots.txt

Cara Mengatasi URL restricted by robots.txt - Pesan "URL restricted by robots.txt" nongol jika memasang atritub meta tag yang mengandung "index" atau "follow" , pada suatu halaman spesifik , yg di artikan sebagai perintah kepada robot search engine untuk melakukan indeks ....nah, karena pada wilayah /search/label , itu tak bisa di indeks , maka muncul-lah pesan "URL restricted by robots.txt" , sebagai konfirmasi dari si robot bahwa halaman pada url itu tidak bisa di indeks.


- Robot.txt blogger/blogspot bisa dilihat pada url :http://blog-anda.blogspot.com/robots.txt , dan semuanya punya format kaya di bawah ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Sitemap: http://www.m-wali.blogspot.com/feeds/posts/default?orderby=updated

- Artinya emang wilayah search/label/ emang tak akan di crawl oleh searh engine, biar di tambahin script meta tag apapun ,dan pesan " URL restricted by robots.txt" hanyalah konfirmasi saja.

- Dan hubungannya dengan script cara meblokir duplikat konten adalah, script itu akan membuat efektivitas si crawl, yang mana tak akan mengindeks halaman2 archive yang tidak berhubungan dengan "query" yang di ketikan orang di search engine. jadi duplicate contents dari URL restricted by robots.txt , ini tidak di artikan sebagai duplikat konten dari suatu konten kita yang akan menurunkan kualitas SEO dari blog kita ( saya dah menerapakan teknik itu setahun lebih buat blog2 saya)

Dan dari pihak google webmaster central sendiri sudah mengklarifikasi, bahwa "URL restricted by robots.txt" in blogger is no problem , dan cara memblokir konten biar lebih efektif seacara SEO itu adalah tetap baik jika di jalankan, kalau tidak ya tak apa2, karena banyak teknik optimasi seo dan oleh keyword yg bisa anda lakukan.

Cara Mengatasi URL restricted by robots.txt:
pasang rel='canonical' di dalam head tag
Lalu bikin artikel dengan memberikan link ke google..
Lalu ping di google blogsearch http://blogsearch.google.com/ping
Lalu tunggu bbrp hari dg sabar...hampir semua blog2 sy pernah ngalamin masalah spt itu

Kalau dari pengalaman saya sendiri restricted by robots.txt sama sekali nggak ngaruh sama sekali di urusan SEO,.. di acc google webmaster saya banyak banget bahkan ada yg ratusan/blognya tapi traffic dari search engine termasuk google tetap naik terus.

restricted by robots.txt itu kan cuma indikator/laporan/pemberitahuan, bahwa halaman /search/label tidak bisa di crawl oleh spider, karena emang dari sononya begitu spt sdh dijelaskan pd post diatas. dalam hal ini pendapat saya si google ini emang dodol bin bego bin kurang kerjaan, kalau suatu halaman ga boleh di crawl kenapa dibuat dan diberikan ke blogger...kan jadi bikin bingung dan ribet orang aja...

By the way.masalah google boot yg ga mampir itu.. saran sy, terutama untuk blog2 yg umurnya masih baru, sebaiknya tidak usah kebanyakan unsur javascript, spt utk iklan ppc, widget LinkWithin, slide iklan...etc , intinya jangan kebanyakan muatan link di home page/tampil simple aja dulu, supaya boot mudah menemukan inti konten blog kita, karena kalau kebanyakn out-link yg tidak relevan dengan tema blog kita, memang bisa dianggap spam oleh spider....menurut pengalaman sy begitu. Jika Belum Puas
sumber : acehsaya.com/2012/01/cara-mengatasi-url-restricted-by.html