Sayfaları, robots.txt dosyasını kullanarak engelleme veya kaldırma
robots.txt dosyası web'i tarayan arama motoru robotlarının sitenize erişimini kısıtlar. Bu botlar otomatiktir ve bir sitenin sayfalarına erişmeden önce, belirli sayfalara erişmelerini önleyen bir robots.txt dosyası olup olmadığını kontrol ederler. (Saygın robotların tümü bir robots.txt dosyasındaki yönergeleri gözetse de bazı robotlar yönergeleri farklı yorumlayabilir. Ancak, bir robots.txt dosyası dayatılamaz ve bazı spam göndericilerle diğer kötü amaçlı kişiler bu dosyayı göz ardı edebilir. Bu nedenle, (gizli bilgileri şifreyle korumayı öneriyoruz.)
Yalnızca sitenizde arama motorlarının dizine eklemesini istemediğiniz içerik varsa, robots.txt dosyasına gereksinim duyarsınız. Arama motorlarının sitenizdeki her şeyi dizine eklemesini istiyorsanız, robots.txt dosyasına (boş olanına bile) ihtiyacınız yoktur.
Google, robots.txt tarafından engellenen içerik sayfalarını taramamasına veya dizine eklememesine karşın, URLlerini web üzerindeki diğer sayfalarda bulduğu takdirde bu URLleri dizine ekleyebilir. Sonuç olarak, sayfanın URLsi ve büyük olasılıkla bağlantı metni gibi halka açık olan veya Açık Dizin Projesindeki (ODP - Open Directory Project) başlık gibi diğer bilgiler Google arama sonuçlarında görüntülenebilir.
Bir robots.txt dosyası kullanmak için etki alanınızın köküne erişebilmeniz gerekir (emin değilseniz, web barındırıcınızdan bunu öğrenebilirsiniz). Bir alan adının köküne erişiminiz yoksa, erişimi robots meta etiketini kullanarak kısıtlayabilirsiniz.
vBulletin 4.x.x Eklentileri, vBulletin 4.x.x Soru
lar, vBulletin 4.x.x Temaları, vBulletin 4.x.x Şablonları, vBulletin 4.x.x Dilleri, vBulletin 4.x.x Tartışmaları, vBulletin 4.x.x İp Uçları, vBulletin 4.x.x İstek , vBulletin Blog, Forum Sidebar Blokları , vBulletin 3.x.x Eklentileri, vBulletin 3.x.x Sorular, vBulletin 3.x.x Temaları, vBulletin 3.x.x Şablonları, vBulletin 3.x.x Dilleri, vBulletin 3.x.x Tartışmaları, vBulletin 3.x.x İp Uçları, vBulletin 3.x.x İstek , vBulletin Blog, Forum Sidebar Blokları , vBulletin 3.8.x Eklentileri, vBulletin 3.8.x Sorular, vBulletin 3.8.x Temaları, vBulletin 3.8.x Şablonları, vBulletin 3.8.x Dilleri, vBulletin 3.8.x Tartışmaları, vBulletin 3.8.x İp Uçları, vBulletin 3.8.x İstek , vBulletin Blog, Forum Sidebar Blokları , vBulletin 3.7.x Eklentileri, vBulletin 3.7.x Sorular, vBulletin 3.7.x Temaları, vBulletin 3.7.x Şablonları, vBulletin 3.7.x Dilleri, vBulletin 3.7.x Tartışmaları, vBulletin 3.7.x İp Uçları, vBulletin 3.7.x İstek , vBulletin Blog, Forum Sidebar Blokları , vBulletin 5.x.x Eklentileri, vBulletin 5.x.x Sorular, vBulletin 5.x.x Temaları, vBulletin 5.x.x Şablonları, vBulletin 5.x.x Dilleri, vBulletin 5.x.x Tartışmaları, vBulletin 5.x.x İp Uçları, vBulletin 4.x.x İstek , vBulletin Blog, Forum Sidebar Bloklar
robots.txt dosyası web'i tarayan arama motoru robotlarının sitenize erişimini kısıtlar. Bu botlar otomatiktir ve bir sitenin sayfalarına erişmeden önce, belirli sayfalara erişmelerini önleyen bir robots.txt dosyası olup olmadığını kontrol ederler. (Saygın robotların tümü bir robots.txt dosyasındaki yönergeleri gözetse de bazı robotlar yönergeleri farklı yorumlayabilir. Ancak, bir robots.txt dosyası dayatılamaz ve bazı spam göndericilerle diğer kötü amaçlı kişiler bu dosyayı göz ardı edebilir. Bu nedenle, (gizli bilgileri şifreyle korumayı öneriyoruz.)
Yalnızca sitenizde arama motorlarının dizine eklemesini istemediğiniz içerik varsa, robots.txt dosyasına gereksinim duyarsınız. Arama motorlarının sitenizdeki her şeyi dizine eklemesini istiyorsanız, robots.txt dosyasına (boş olanına bile) ihtiyacınız yoktur.
Google, robots.txt tarafından engellenen içerik sayfalarını taramamasına veya dizine eklememesine karşın, URLlerini web üzerindeki diğer sayfalarda bulduğu takdirde bu URLleri dizine ekleyebilir. Sonuç olarak, sayfanın URLsi ve büyük olasılıkla bağlantı metni gibi halka açık olan veya Açık Dizin Projesindeki (ODP - Open Directory Project) başlık gibi diğer bilgiler Google arama sonuçlarında görüntülenebilir.
Bir robots.txt dosyası kullanmak için etki alanınızın köküne erişebilmeniz gerekir (emin değilseniz, web barındırıcınızdan bunu öğrenebilirsiniz). Bir alan adının köküne erişiminiz yoksa, erişimi robots meta etiketini kullanarak kısıtlayabilirsiniz.
vBulletin 4.x.x Eklentileri, vBulletin 4.x.x Soru
lar, vBulletin 4.x.x Temaları, vBulletin 4.x.x Şablonları, vBulletin 4.x.x Dilleri, vBulletin 4.x.x Tartışmaları, vBulletin 4.x.x İp Uçları, vBulletin 4.x.x İstek , vBulletin Blog, Forum Sidebar Blokları , vBulletin 3.x.x Eklentileri, vBulletin 3.x.x Sorular, vBulletin 3.x.x Temaları, vBulletin 3.x.x Şablonları, vBulletin 3.x.x Dilleri, vBulletin 3.x.x Tartışmaları, vBulletin 3.x.x İp Uçları, vBulletin 3.x.x İstek , vBulletin Blog, Forum Sidebar Blokları , vBulletin 3.8.x Eklentileri, vBulletin 3.8.x Sorular, vBulletin 3.8.x Temaları, vBulletin 3.8.x Şablonları, vBulletin 3.8.x Dilleri, vBulletin 3.8.x Tartışmaları, vBulletin 3.8.x İp Uçları, vBulletin 3.8.x İstek , vBulletin Blog, Forum Sidebar Blokları , vBulletin 3.7.x Eklentileri, vBulletin 3.7.x Sorular, vBulletin 3.7.x Temaları, vBulletin 3.7.x Şablonları, vBulletin 3.7.x Dilleri, vBulletin 3.7.x Tartışmaları, vBulletin 3.7.x İp Uçları, vBulletin 3.7.x İstek , vBulletin Blog, Forum Sidebar Blokları , vBulletin 5.x.x Eklentileri, vBulletin 5.x.x Sorular, vBulletin 5.x.x Temaları, vBulletin 5.x.x Şablonları, vBulletin 5.x.x Dilleri, vBulletin 5.x.x Tartışmaları, vBulletin 5.x.x İp Uçları, vBulletin 4.x.x İstek , vBulletin Blog, Forum Sidebar Bloklar