# robots.txt im root- Verzeichnis des jeweiligen Serves # user-agent: * --> spricht alle Spider an # disallow: /auszuschließendes Verzeichnis, ausgehend von root/ user-agent: * disallow: /fla/ disallow: /logs/ disallow: /pic/ disallow: /sdg/ disallow: /style/ disallow: /food/pic/ disallow: /food/fla/ user-agent: EmailCollector user-agent: food disallow: /