Di bawah ini adalah tabel daftar User-agent yang dapat Anda gunakan untuk mencocokkan laba-laba mesin pencari (
search engine spiders) yang paling umum digunakan dalam membuat berkas robots.txt di website Anda :
| Search engine | Field | User-agent |
|---|---|---|
| Baidu | General | baiduspider |
| Baidu | Images | baiduspider-image |
| Baidu | Mobile | baiduspider-mobile |
| Baidu | News | baiduspider-news |
| Baidu | Video | baiduspider-video |
| Bing | General | bingbot |
| Bing | General | msnbot |
| Bing | Images & Video | msnbot-media |
| Bing | Ads | adidxbot |
| General | Googlebot | |
| Images | Googlebot-Image | |
| Mobile | Googlebot-Mobile | |
| News | Googlebot-News | |
| Video | Googlebot-Video | |
| AdSense | Mediapartners-Google | |
| AdWords | AdsBot-Google | |
| Yahoo! | General | slurp |
| Yandex | General | yandex |
Contoh robot.txt
sitemap: https://hidayahcollection.com/sitemap.xml
# disallow all files in these directories
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /cgi-bin/
Disallow: /wp-content/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /archives/
Disallow: /wp-includes/js
Disallow: /trackback
Disallow: /category/*/*
Disallow: */trackback/
Disallow: *?replytocom
Disallow: /author
Disallow: /comments/feed/
Disallow: */trackback/
Disallow: /wp-*
Disallow: /*?*
Disallow: /*?
Disallow: /*~*
Disallow: /*~
User-Agent: Googlebot
Disallow: /deep/
Allow: /deep/*.js
Allow: /deep/*.css
Baris kedua di setiap blok arahan adalah garis Disallow. Anda dapat memiliki satu atau lebih dari garis-garis ini, menentukan bagian dari situs laba-laba yang ditentukan tidak dapat mengakses. Baris Disallow kosong berarti Anda tidak melarang apa-apa, jadi pada dasarnya itu berarti bahwa laba-laba dapat mengakses semua bagian dari situs Anda.
Contoh di bawah ini akan memblokir semua mesin pencari yang "mendengarkan" untuk robots.txt merayapi situs Anda.
User-agent: *
Disallow: /
Contoh di bawah ini memungkinkan semua mesin pencari untuk menjelajah seluruh situs Anda.
User-agent: *
Disallow:
Contoh di bawah ini akan memblokir Google dari merangkak Photo direktori di situs Anda dan segala sesuatu di dalamnya. Ini berarti semua subdirektori dari /Photo direktori juga tidak akan jelajahi. Ini akan tidak memblokir Google dari merangkak photo direktori, seperti garis-garis ini adalah kasus sensitif.
User-agent: GooglebotDisallow: / Photo
MAAF, saat ini kolom komentar sudah tidak bisa berfungsi dengan baik karena adanya perubahan struktur kode pada template blog ini.
==================================
Silahkan berikan komentar Anda di laman ini.
Tautan (live links) spam dalam komentar akan terhapus secara otomatis.
Jika ingin menyisipkan tautan silakan gunakan tag: <i rel="URL">URL ANDA</i>
Untuk menyisipkan judul, gunakan tag <b rel="h3">TEKS JUDUL ANDA DI SINI</b>
Untuk menyisipkan gambar, gunakan tag <i rel="image">Tulis URL GAMBAR Anda di sini </i>
Untuk menyisipkan kode, gunakan tag <i rel="code">Tulis KODE ANDA di sini</i>
Kode yang panjang bisa menggunakan tag <i rel="pre"> KODE PANJANG di sini</i>
Untuk menciptakan efek tebal gunakan tag <b>TEKS TEBAL ANDA DI SINI</b>
Untuk menciptakan efek tulisan miring gunakan tag <i>TEKS MIRING ANDA DI SINI</i>