Question 1

Disallow sayfayı Google'dan kaldırır mı?

Accepted Answer

Hayır — sık yapılan bir hata. Disallow yalnızca taramayı engeller; başka sitelerden bağlantı alan bir adres yine de içeriksiz biçimde listelenebilir. Kaldırmak için sayfanın taranabilir olması ve noindex vermesi gerekir.

Question 2

Gizli bilgiyi robots.txt ile saklayabilir miyim?

Accepted Answer

Tam tersi. robots.txt herkese açıktır ve gizlemek istediğin yolların listesini vermiş olursun. Erişimi gerçekten kısıtlamak için kimlik doğrulama gerekir.

Robots.txt Üretici