Skip to HeaderSkip to PostSkip to Footer

Cara Setting Robots.txt pada Blog

Table of Content
    robots.txt

    J4rviz Blog - Cara Setting Robots.txt pada Blog - Robots.txt Mungkin Kata ini Sudah Akrab Di Kalangan Blogger Blogger Blogger. Namun anda tahu apakah robots.txt itu? apakah perlu di setting? bagaimana kalau di biarkan saja? mungkin masih banyak pertanyaan lain. Robots.txt merupakan salah satu komponen penting yang memiliki peran yang sangat vital bagi sebuah website. Ibaratkan robots.txt adalah
    gerbang bagi dunia luar untuk mengakses blog kita.

    Apakah itu robots.txt?

    Robots.txt adalah perintah bagi robot mesin pencari untuk menelusuri atau tidak menelusuri halaman pada blog kita. Boleh dikatakan robots.txt adalah filter blog kita dari mesin pencari.



     Apakah Setiap Blog  Memiliki Robots.txt ?

    Well, Setiap Blog Yang di Kelola Oleh Blogger.com memiliki Robots.txt. Settingan Default Robots.txt yang Di miliki oleh Setiap Blog Yaitu :




    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED


    Untuk Melihat Robots.txt yang terdapat pada Blog anda, anda bisa melakukannya dengan cara menambahkan /robots.txt di belakang url blog anda (contoh : http://vintual.blogspot.com/robots.txt)



    Apa arti dari kode-kode  yang terdapat dalam robots.txt suatu blog?

    User-agent: Mediapartners-Google 

    Robot Google Adsense merayapi blog



     Disallow: 

    Yang tidak diperbolehkan tidak ada





    User-agent: * 

    Semua robot Search Engine / mesin pencari





    Disallow: /search 

    Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...





    Allow: / 

    Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.





    Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED 

    Adalah alamat Peta situs milik blog anda

     

    Kenapa label tidak dimasukan ke pencarian?

    Dengan penulisan kode default Disallow: /search, artinya perayapan untuk label seperti alamat http://namablog.com/search/label/Tutorial, nantinya tidak akan dirayapi oleh mesin pencari karena Label bukan URL yang real menuju satu halaman tertentu.



    Bagaimana cara mencegah robot pada halaman tertentu?

    Untuk mencegah google merayapi halaman tertentu di blog anda, contohnya jika anda tidak ingin halaman About Me Terindex oleh mesin pencari. Untuk URL about me pada blog anda misal : http://namabloganda.blogspot.com/p/about.html

    Maka untuk robots.txt, silahkan copy kode defaut di atas, tambahakan halaman yang tidak diperbolehkan, hasilnya seperti ini  :




    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Disallow: /p/about.html
    Allow: /

    Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED

    Bagaimana Cara Mengedit Robots.txt Pada Blog kita ?

    Untuk Mengedit Robots.txt, masuk ke Setelan > Preferensi Penelusuran, pada Robots.txt klik Edit kemudian klik Ya, kemudian tulis kode robots.txt yang diinginkan > Simpan Perubahan



    Saya tidak pernah utak atik robots.txt, bagaimana?

    Tidak apa-apa, blog sobat tetap akan dirayapi oleh robot-robot mesin pencari karena seperti saya sebutkan sebelumnya, setiap blog sudah mempunya robots.txt default.

     Saya Rasa Cukup Pembahasan Tentang  MenSetting Robots.txt Pada Blog . Semoga Bermanfaat..

    Referensi : http://blog.kangismet.net

    Comments

    Post a Comment

    This is a comment message for you.