Back to Question Center
0

Semalt, Botlar, Örümcekler ve Tarayıcılar ile Nasıl Başa Çıkma İpuçları Sağlıyor

1 answers:

Arama motoru dostu URL'ler oluşturmanın yanı sıra .htaccess dosyası, web yöneticilerinin belirli botların kendi web sitesine erişmesini engellemesine izin verir. Bu robotları engellemenin bir yolu robots.txt dosyasıdır. Bununla birlikte, Ross Barber, Semalt Müşteri Başarı Yöneticisi, bazı tarayıcıların bu isteği görmezden geldiğini belirtmektedir. En iyi yollardan biri, içeriğinizi dizine eklemelerini engellemek için .htaccess dosyasını kullanmaktır.

Bu botlar nelerdir

Endeksleme amacıyla internette yeni içerik silmek için arama motorları tarafından kullanılan bir yazılım türüdür.

Aşağıdaki görevleri yerine getirirler:

  • Bağlı olduğunuz web sayfalarını ziyaret edin
  • Hatalar için HTML kodunuzu kontrol edin
  • Hangi web sayfalarını bağladığınızı kaydediyor ve hangi web sayfalarının içeriğinize link verdiğini görüyorlar
  • İçeriğinizi dizine eklerler

Bununla birlikte, bazı botlar kötü amaçlıdır ve sitenize, genellikle istenmeyen mesajları veya spam gönderen e-posta adresleri ve formları arar. Bazıları kodunuzda güvenlik açıklarını da araştırır.

Web tarayıcılarını engellemek için neye ihtiyaç duyuluyor?

.htaccess dosyasını kullanmadan önce aşağıdakileri kontrol etmeniz gerekir:

1. Siteniz bir Apache sunucusunda çalışıyor olmalıdır. Günümüzde, işte yarı yarıya iyi olan web hosting firmaları bile, size gerekli dosyaya erişmenizi sağlar.

2. Web sayfalarınızı ziyaret eden botların yerlerini bulabilmeniz için web sitenizin ham sunucu günlüğüne erişmelisiniz.

Tüm zararlı botlara engel olmadığınız sürece, hatta yardım etmeyi düşündüğünüz şeyleri bile engelleyemezsiniz. Her gün yeni botlar gelir ve daha büyük botlar değiştirilir. En etkili yol, kodunuzu güvence altına almak ve botların size spam göndermesini zorlaştırmaktır.

Botların belirlenmesi

Botlar IP adresiyle veya HTTP başlıklarında gönderdikleri "Kullanıcı Aracısı Dizesi" ile tanımlanabilir. Örneğin, Google "Googlebot" u kullanır.

Kullanmaya devam etmek istemediğiniz botun adını zaten varsa, bu listeye 302 bot'la ihtiyacınız olabilir. Htaccess

Tüm günlük dosyalarını sunucudan indirmek ve bir metin düzenleyicisi kullanarak açmak için başka bir yol vardır.Sunucu üzerindeki konumları sunucunun yapılandırmasına bağlı olarak değişebilir. web barındırıcınızdan yardım.

Hangi sayfanın ziyaret edildiğini veya ziyaret saatini biliyorsanız, istenmeyen bir botla gelmeniz daha kolaydır. Bu parametrelerle günlük dosyasında arama yapabilirsiniz.

Bir kere, engellemek istediğiniz botlara dikkat ettiniz; daha sonra bunları .htaccess dosyasına ekleyebilirsiniz. Bot'u engellemenin durdurmak için yeterli olmadığını lütfen unutmayın. Yeni bir IP veya isim ile geri gelebilir.

Onları nasıl bloke ederim

.htaccess dosyasının bir kopyasını indirin. Gerekirse yedekleme yapın.

Yöntem 1: IP ile engelleme

Bu kod pasajı botu IP adresini 197.0.0.1

kullanarak bloke eder

Sipariş Reddi, İzin Ver

197.0.0.1'den reddetme

İlk satır, sunucunun belirttiğiniz kalıplarla eşleşen tüm istekleri engellediği ve diğerlerinin hepsine izin verdiği anlamına gelir.

İkinci satır, sunucuya bir 403 verileceklerini bildirir: yasak sayfa

Yöntem 2: Kullanıcı aracıları tarafından engellenmesi

En kolay yol, Apache'nin yeniden yazma motorunu

kullanmaktır.

RewriteEngine Açık

RewriteCond% {HTTP_USER_AGENT} BotUserAgent

RewriteRule. - [F, L]

İlk satır, yeniden yazma modülünün etkin olmasını sağlar. İkinci satır, kuralın uygulanacağı koşuldur. Satır 4'deki "F", sunucuya 403'ü geri vermesini söyler: Yasak, "L" ise bunun son kural olduğu anlamına gelir.

.htaccess dosyasını sunucunuza yükleyecek ve mevcut dosyanın üzerine yazacaksınız. Zamanla botun IP'sini güncellemeniz gerekecek. Bir hata yaparsanız, yaptığınız yedeklemeyi yükleyin.

November 24, 2017
Semalt, Botlar, Örümcekler ve Tarayıcılar ile Nasıl Başa Çıkma İpuçları Sağlıyor
Reply