Hayalci
Konu Sayısı: 8 Mesaj Sayısı: 82 |
Selamlar,
Arkadaşlar blogumun indeks sorununu bir türlü çözemediğimden dolayı robots.txt dosyasını değiştirmeye karar verdim. Blogum herkese açık olduğundan ve robotların engellemesini istediğim bir dosya olmadığından User agent , Disallow ve Allow alanlarını bütün robot taramalarına açarak hepsinin blogum tamamının indekslenmesini istiyorum. Ancak internette bununla ilgili farklı kodlar var. En doğru kod hangisidir? Bilen varsa yanıt olarak yazabilir mi? |
kamilaydin
Konu Sayısı: 2 Mesaj Sayısı: 57 |
User-agent: Mediapartners-Google
Bu mesaj kamilaydin tarafından 16.07.2014 14:16:23 tarihinde değiştirildi. Disallow: User-agent: * Disallow: /search?q=* Disallow: /*?updated-max=* Allow: / Sitemap: http://www.blogisminiz.com/feeds/posts/default?orderby=updated |
Hayalci
Konu Sayısı: 8 Mesaj Sayısı: 82 |