robots.txt yanlışları: Disallow sayfayı Google'dan kaldırmaz

Taramayı engellemek ile dizinden çıkarmak arasındaki fark, robots.txt'in herkese açık olması ve yapay zekâ tarayıcılarına dair kararlar.