Başlık: Robots

Başlık: Robots.txt'in gücünü kullanma Kelime Sayısı: 277 Özet: Çalışmaya ve çalışmaya başladıktan sonra, ziyaret eden tüm arama motorlarının bakmasını istediğimiz tüm sayfalara erişebileceğinden emin olmalıyız. Bazen, arama motorlarının sitenin belirli bölümlerini dizine eklememesini veya hatta siteden diğer SE'yi hep birlikte yasaklamamasını isteyebiliriz.

Bu, robots.txt adlı basit, küçük 2 satır metin dosyası geliyor. Anahtar Kelimeler: Alan adları, arama motorları, web izinleri, arama motoru optimizasyonu, SEO Makale Vücudu: Çalışmaya ve çalışmaya başladıktan sonra, ziyaret eden tüm arama motorlarının bakmasını istediğimiz tüm sayfalara erişebileceğinden emin olmalıyız.

Bazen, arama motorlarının sitenin belirli bölümlerini dizine eklememesini veya hatta siteden diğer SE'yi hep birlikte yasaklamamasını isteyebiliriz. Bu, robots.txt adlı basit, küçük 2 satır metin dosyası geliyor. Robots.txt Web Sitelerinizde bulunur (Linux Systems'ta bu sizin / public_html / dizininizdir) ve aşağıdakilere benziyor: Kullanıcı ajanı: * İzin vermemek: İlk satır, sitenizi ziyaret edecek “botu” kontrol eder, ikinci satır izin verilirse veya sitenin hangi bölümlerini ziyaret etmelerine izin verilmez… Birden fazla "bot" ile işlemek istiyorsanız, yukarıdaki satırları basitçe tekrarlayın.

Yani bir örnek: Kullanıcı ajanı: Googlebot İzin vermemek: Kullanıcı ajanı: AskJeeves İzin Verme: / Bu, Goggle'ın (Kullanıcı Aracı Adı GoogleBot) her sayfayı ve dizinini ziyaret etmesine izin verirken, aynı zamanda Jeeves'e Siteden tamamen sormayı yasaklar

Yani bir örnek: Kullanıcı ajanı: Googlebot İzin vermemek: Kullanıcı ajanı: AskJeeves İzin Verme: / Bu, Goggle'ın (Kullanıcı Aracı Adı GoogleBot) her sayfayı ve dizinini ziyaret etmesine izin verirken, aynı zamanda Jeeves'e Siteden tamamen sormayı yasaklar. Robot kullanıcı adlarının güncel bir listesini bulmak için bu ziyaret http://turkiyespot.com/ http://turkiyespot.com/robotstxt.org/wc/active/html/index.html </a> </a> Her robotun sitenizin her sayfasını dizine eklemesine izin vermek isteseniz bile, sitenize bir robots.txt dosyası koymak hala çok tavsiye edilir.Hata günlüklerinizi, mevcut olmayan robots.txt dosyanıza erişmeye çalışan arama motorlarından gelen girişlerle doldurmayı durduracaktır.

Robots.txt hakkında daha fazla bilgi için bkz. Robots.txt hakkındaki kaynakların tam listesi <a href = " http://turkiyespot.com/ http://turkiyespot.com/websitesecrets101.com/robotstxt-further-reading-resources/</a></a>"> http://turkiyespot.com/ http://turkiyespot.com/websitesecrets101.com/robotstxt-further-reading-resources</a></a></a>