A fájlokat arra használják, hogy a webes botokat irányítsa vagy mondja el, milyen oldalakat és könyvtárakat indexeljen vagy nem indexeljen. Ezt a fájlt az oldalakat tároló kiszolgáló gyökérkönyvtárába kell helyezni. A fájlt robots.txt-nek kell nevezni, és olvasási engedélyekkel kell rendelkeznie. Az alábbiakban egy példa a robots.txt fájlra.

 # robots.txt fájl //www.computerhope.comUser-agent esetén: * Disallow: / directory1 / 
Letiltás: / könyvtár2 /

A fenti robots.txt példában az első sor egy nem végrehajtható utasítás, amely leírja a fájlt. Ezután a Felhasználó-ügynök sor azt mondja, hogy a robotoknak vagy a botoknak követniük kell a fájl ezen szakaszát. A fenti példában a * minden botot jelent. Végül a következő két sor a két könyvtár, amelyeket a botok nem indexelnek.

Ha azt szeretné, hogy egy bot lekérdezhesse az összes URL-t a webhelyén, írja be a bot nevét, majd tiltsa le: üres értékkel, ahogy az alábbi példában látható.

 Felhasználó-ügynök: Somebot *
Letiltás: 

Internetes kifejezések, meta tagek, robot, SEO kifejezések, webhelytérkép, webes tervezési feltételek