User-agent: * Disallow: /*.jpg$ Disallow: /*.gif$ Allow: / User-agent: googlebot Allow: / User-agent: googlebot-Image Disallow: / User-agent: msnbot Allow: / User-agent: YahooSeeker Allow: / User-agent: Yahoo-MMCrawler Allow: / User-agent: slurp Allow: / User-agent: ask Allow: / User-agent: askjeeves Allow: / User-agent: lycos Allow: / User-agent: ilse Allow: / User-agent: webwalker Allow: / User-agent: linkwalker Allow: / User-agent: infoseek Allow: / User-agent: harvest Allow: / User-agent: atomz Allow: / User-agent: research Allow: / User-agent: bbot Allow: / #nieuwe spiders toegevoed. 27/02/2006 #Yahoo(3x) en msnbot vertraagd tot 120 sec. 15/01/2006 #Yahoo(3x) en msnbot vertraagd tot 60 sec. 23/01/2006 #nieuwe Robot geupload #Alle mappen die niet van toepassing zijn geblokt #weet niet precies welke pagina WEL hoort te worden geindexeerd #er Schijnt ook een META TAG = ROBOT ALL, FOLLOW and INDEX te zijn #deze volgt en indexeert alle links in die betreffende site #denk dat het goed is om die er bij te zetten in de meta tags.