Başlık: Robotlar web sitenizden nasıl uzak tutulur Kelime Sayısı: 538 Özet: Robots

Başlık: Robotlar web sitenizden nasıl uzak tutulur Kelime Sayısı: 538 Özet: Robots.txt dosyası, Robots Dışlama Protokolü, Robotları haber gönderilerinizden uzak tutun Anahtar Kelimeler: Robots, Robots.txt, Robotlar Dışlama Protokolü, Pazarlama İnternet Pazarlama, Ev İşletmesi Makale Vücudu: Robots.txt dosyası İnsanların internette bilgi bulmalarına yardımcı olmak için arama motorlarının oluşturulduğunu biliyorsunuz ve arama motorları, bilgilerinin çoğunu onlar için web sayfaları arayan robotlar (örümcekler veya tarayıcılar olarak da bilinir) aracılığıyla ediniyor.

Örümcekler veya tarayıcılar robotları, her türlü bilgiyi arayan ve kaydeden web'i keşfeder.Genellikle kullanıcılar tarafından gönderilen URL ile veya web sitelerinde, site haritası dosyalarında veya bir sitenin en üst seviyesinde buldukları bağlantılardan başlarlar. Robot ana sayfaya eriştikten sonra, o sayfadan bağlantılı tüm sayfalara tekrarlı olarak erişir.Ancak robot, belirli bir sunucuda bulabilecek tüm sayfaları da kontrol edebilir.

Robot bir web sayfası bulduktan sonra, başlığı, anahtar kelimeleri, metni vb. Dizine koyarak çalışır, ancak bazen arama motorlarının bazı web sayfalarınızı haber gönderileri ve özel olarak işaretlenmiş web sayfaları (örneğin: bağlı kuruluş sayfaları) gibi dizine eklemesini önlemek isteyebilirsiniz, ancak bireysel robotların bu kurallara uyup uymadığı saf gönüllüdür.

Robotların dışlama protokolü Bu nedenle, robotların bazı web sayfalarınızdan uzak durmasını istiyorsanız, robotlardan endekslemeyi istemediğiniz web sayfalarını görmezden gelmesini isteyebilirsiniz ve bunu yapmak için web sitenizin yerel kök sunucusuna bir robots

Robotların dışlama protokolü Bu nedenle, robotların bazı web sayfalarınızdan uzak durmasını istiyorsanız, robotlardan endekslemeyi istemediğiniz web sayfalarını görmezden gelmesini isteyebilirsiniz ve bunu yapmak için web sitenizin yerel kök sunucusuna bir robots.txt dosyası yerleştirebilirsiniz. Örneğin, e-kitaplar adlı bir dizinin varsa ve robotlardan uzak durmasını istemek istiyorsanız, robots.txt dosyanız şunları okumalıdır: Kullanıcı ajanı: * İzin Var: E-kitaplar/ Bir robots.txt dosyası ayarlamak için sunucunuz üzerinde yeterli kontrolünüz olmadığında, herhangi bir HTML belgesinin kafa bölümüne bir meta etiket eklemeyi deneyebilirsiniz.

Örneğin, aşağıdakiler gibi bir etiket robotlara dizin yapmamasını ve belirli bir sayfadaki bağlantıları izlememelerini söyler: Meta name = "Robots" içeriği = "NoindEx, nofollow" Robotlar arasında meta etikete destek, robotların dışlama protokolü kadar sık ​​değildir, ancak büyük web dizinlerinin çoğu şu anda desteklemektedir.

Haber gönderileri Arama motorlarını haber gönderilerinizden uzak tutmak istiyorsanız, gönderilerinizin başlıklarında bir "X-No-Archive" satırı oluşturabilirsiniz: X-No-Archive: Evet Ancak ortak haber müşterileri olmasına rağmen, haber gönderilerinizin başlıklarına bir X-No-Archive satır eklemenize izin veriyor, bazıları bunu yapmanıza izin vermiyor.

Sorun şu ki, çoğu arama motoru, aksi belirtilmedikçe buldukları tüm bilgilerin herkese açık olduğunu varsaymaktadır

Sorun şu ki, çoğu arama motoru, aksi belirtilmedikçe buldukları tüm bilgilerin herkese açık olduğunu varsaymaktadır. Dikkatli olun, çünkü robot ve arşiv dışlama standartları materyalinizi büyük arama motorlarından uzak tutmaya yardımcı olsa da, böyle bir kurala saygı duymayan bazıları vardır. E-posta ve Usenet gönderilerinizin gizliliği konusunda çok endişeliyseniz, bazı anonim Ödüller ve PGP kullanmanız gerekir.Bunu buradan okuyabilirsiniz: http://turkiyespot.com/ http://turkiyespot.com/well.com/user/abacard/remail.html</a></a> http://turkiyespot.com/ http://turkiyespot.com/io.com/~combs/htmls/crypto.html</a></a> http://turkiyespot.com/world.std.com/~franl/pgp </a>/ Özellikle gizlilik konusunda endişelenmeseniz bile, yazdığınız her şeyin sonsuzluk için bir yere dizine ekleneceğini ve arşivleneceğini unutmayın, bu nedenle robots.txt dosyasını ihtiyacınız olduğu kadar kullanın.

Roberto A. Bonomi tarafından yazılmıştır