Back to Question Center
0

Semalt: Darodar Robots.txt Nasıl Blok Edilir

1 answers:

Robots.txt dosyası, web tarayıcılarının veya botların bir siteyi taramasına ilişkin talimatları içeren tipik bir metin dosyasıdır. Uygulamaları, çok sayıda optimize edilmiş web sitelerinde yaygın olan arama motoru botlarında açıktır. Robots.txt dosyası, Robotlar Dışlama Protokolünün (REP) bir parçası olarak, web içeriğinin endekslenmesinin yanı sıra bir sunucunun kullanıcı isteklerini buna göre kimlik doğrulaması yapmasına olanak tanımak için önemli bir unsur oluşturmaktadır.

Semalt Kıdemli Müşteri Başarı Yöneticisi olan Julia Vashneva, bağlantının, niş içindeki diğer alanlardan gelen trafik kazanmayı içeren Arama Motoru Optimizasyonu'nun (SEO) bir yönü olduğunu açıklıyor. Bağlantı suyu aktarmak için "follow" bağlantıları için, sunucunun sitenizle nasıl etkileşime girdiğini öğreten olarak hareket etmesi için web siteniz barındırma alanına bir robots.txt dosyası eklemeniz önemlidir. Bu arşivden talimatlar, bazı belirli kullanıcı aracının nasıl davrandıklarına izin vererek veya vermeyerek mevcut.

Bir robots.txt dosyasının Temel Biçimi

Bir robots.txt dosyası iki temel çizgi içeriyor:

Kullanıcı acentesi: [kullanıcı temsilcisi adı]

İzin Verme: [URL dizesi taranmamalıdır]

Tam bir robots.txt dosyası bu iki satırı içermelidir. Bununla birlikte, bazıları çok sayıda kullanıcı aracıları ve yönergeleri içerebilir. Bu komutlar izinler, izin vermeme veya tarama gecikmeleri gibi özellikleri içerebilir. Her komut dizisini birbirinden ayıran bir satır sonu genellikle bulunur. İzinlerin veya izinlerin reddedilmesi talimatlarının her biri, özellikle birden fazla satır içeren robots.txt için bu satır sonu ile ayrılır.

örnek olarak

Örneğin, bir robots.txt dosyası aşağıdakine benzer kodlar içerebilir:

User-agent: darodar

İzin Verme: / plugin

İzin Verme: / API

İzin verme: / _comments

Bu durumda, bu, Darodar web gezgininizin web sitenize erişmesini kısıtlayan bir blok robots.txt dosyasıdır. Yukarıdaki sözdiziminde, kod, Web sitesinin eklentileri, API ve yorumlar bölümleri gibi özelliklerini engeller. Bu bilgiden, bir robotun metin dosyasını etkin bir şekilde yürütmekten çok sayıda fayda sağlamak mümkündür. Robotlar. txt dosyaları çok sayıda işlev gerçekleştirebilir. Örneğin, bunlar:

1. Tüm web tarayıcılarının bir web sitesi sayfasına izin ver. Örneğin;

Kullanıcı jakıtı: *

izin verme

Bu durumda, tüm kullanıcı içeriğine herhangi bir web tarayıcısı tarafından bir web sitesine girilmesi istenebilir.

2. Belli bir web içeriğini belirli bir klasörden engelleyin. Örneğin;

Kullanıcı aracı: Googlebot

İzin verme: / example-subfolder /

Googlebot kullanıcı aracısı adı içeren bu sözdizimi Google'a aittir. Bu, botun www.ourexample.com/example-subfolder/.

dizesindeki herhangi bir web sayfasına erişmesini kısıtlar.

3. Belli bir web sayfasından belirli bir web tarayıcısını engelleyin. Örneğin;

User-agent: Bingbot

İzin Verme: /example-subfolder/blocked-page.html

Kullanıcı aracısı Bing botu Bing web tarayıcılarına aittir. Bu tür robots.txt dosyası, Bing web tarayıcısının www.ourexample.com/example-subfolder/blocked-page.

dizesiyle belirli bir sayfaya erişmesini kısıtlar.

Önemli bilgiler

  • Her kullanıcı robts.txt dosyasını kullanmaz. Bazı kullanıcılar onu görmezden gelmeye karar verebilir. Bu tür web tarayıcılarının çoğunda Truva atları ve zararlı yazılımlar bulunur.
  • Robots.txt dosyası görünür kılmak için, üst düzey web dizininizde mevcut olmalıdır.
  • "robots.txt" karakterleri büyük / küçük harf duyarlıdır. Sonuç olarak, bazı yönlerinin büyük harf kullanımını da içeren herhangi bir şekilde değiştirmemelisiniz.
  • "/robots.txt", kamu malıdır. Herkes herhangi bir URL'nin içeriğine eklediğinde bu bilgileri bulabilir. Önemli ayrıntıları veya gizli kalmasını istediğiniz sayfaları dizine eklememelisiniz.
November 26, 2017
Semalt: Darodar Robots.txt Nasıl Blok Edilir
Reply