Robots.txt Dosyası Ne işe Yarar, Nasıl Oluşturulur

Merhaba arkadaşlar,

Robots.txt dosyası sitenize girmesini istediğiniz botları kabul etmeye yarayan veya girmesini istemediğiniz botları engelleyen bir dosyadır. Bu dosyayı sitenizin ana dizinine atmanız gerekmektedir. Yani siteadresi.com/robots.txt şeklinde olmalıdır.

Peki robots.txt dosyası nasıl oluşturulur?

Öncelikle obots.txt oluştururken bilmeniz gereken iki adet kodlama var bunlar:

• User-agent: aşağıdaki kuralın geçerli olduğu robot
• Disallow: engellemek istediğiniz URL

Yani örnek olarak:

User-agent: *
Disallow: /klasor1/

User-Agent: Googlebot
Disallow: /klasor2/

burdaki “*” tüm botları kastetmektedir. Yani siteme gelen herhangi bir bot klasor1 adlı dizine ulaşamaz demektir.

herhangi bir bot için özel engelleme de yapabilirsiniz. örnekte görüldüğü gibi robots.txt googlebot klasor2 dizinine ulaşamayacak şekilde düzenlenmiştir. Yani google botu sitenize geldiğinde hem tüm botlar için geçerli olan kural gibi klasor1 e ve kendi özel olarak klasor2 dizinine ulaşamayacaktır.

Peki ulaşamayacak da ne olacak?

Sitenizin bu kısımları engellenen arama motoru botlarında gösterilmeyecektir.