Hvad er Robots.txt?

Robots.txt er en fil på websitet som fortæller søgemaskinerobotterne hvilke sider der skal indekseres

I filen kan defineres hvilke sider det ønskes søgemaskinerne skal indeksere og om links på siden skal følges af søgemaskinerobotterne.

Robots.txt er vejledende, dvs. der er ikke garanti for at søgemaskinespidere overholder regler der er sat i robots.txt