olgun porno -porno sikis instagram begeni hilesi instagram begeni hilesi sex izle porno sex
Webmaster

Robots.txt Mantığı ve Yapımı

robot-txt
Written by

Web site açma konusunda yeni olan arkadaşların zorlandığı konulardan biriside robots dosyasını oluşturmak olduğunu gördüm.Konuyu anlatınca ne kadar basit olduğunu sizlerde göreceksiniz.
Öncelikle Robots.txt nedir ne işe yarar ona bakalım.
Robots.txt sitemizin ana kök dizininde bulunan ismi değişmeyen google botları sitemize girdiğinde yarımcı olan dosyadır.Biraz daha açmak gerekirse Google botları siteye girdiğinde ilk bakacağı dosya Robots.txt dosyasıdır,bu dosya içerisinde bottlara yön verecek neleri almasını neleri almamasını gerektiğini bildiren kod blogları mevcuttur.
Altta resmi olarak gördüğünüz gibi neleri görmemesini gerektiğini robots.txt dosyamız belirlemiş durumda.

robots

Peki nasıl oluşturacağız bu dosyayı onu inceleyelim.
User-agent: Google Botu’nun adı
Disallow: Botun izinlerini gireceğimiz komutlar yer alacak
Örnek 1:
User-agent: *
Disallow
1. satırdaki User-agent: * . Bunun anlamı, siteniz tüm Google Botları’nca istisnasız indexlenmesine izin vermişsiniz demektir.
Örnek 2:
User-agent: *
Disallow: /
Gördüğünüz gibi birinci satırdaki user-agent kodumuzun anlamı tüm Google Botları’na sitenizi indexlemesi için izin verilmesiydi. Disallow: /. Bu karakterin anlamı site üzerinde tüm dosyaların taranmaması isteniyor.
Yani bu Robots.txt kod bütününden de anlayacağımız şey, bütün Google Botları’nca sitemizin hiçbir dosyası indexlenmeyecek, taranmayacak.
Örnek 2:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
Bütün google botları, bu 4 dosyayı indexlemeyecektir.
Örnek 3:
User-agent: DeepCrawl
Disallow: /private/
DeepCrawl, bir google botudur. Görevi ise; sitenizi uzun aralıklarla ziyaret edip, indexlenmesi için gerekli bilgileri toplar. Bu kodların anlamı ise, ismi verilen botun ilgili private klasörünü indexlememeli.
Örnek 4:
User-agent: *
Disallow: /directory/dosya.html
Tüm botlar, ilgili dosyayı indexlemeyecektir. Ama directory dizinindeki dosya.html hariç diğer tüm dosyaları tarar ve indexler.
Örnek 5:
User-agent: *
Allow: /dosya1/site.html
Disallow: /dosya1/
Bu kodların anlamı ise, tüm Google Botları dosya dizininde bulunan site.html dosyası hariç diğer tüm dosyaları taramaz ve indexlemeyecektir.

Yazar Hakkında

Daha fazla Webmaster
Cizgi-Film-Tas-Devri
Çizgi Film Nasıl Yapılır?

Çocukların izlemekten zevk aldığı, saatlerce izlese dahi bıkmadıkları çizgi filmler oldukça yapımı zor, uğraş gerektiren bir iştir. Çizgi filmler, bir...

Kapat