#robots.txt für robots.txt-Generator #Diese Webcrawler werden ausgeschlossen #Disallow_Webcrowler_Start #Disallow_Webcrowler_end #Diese Verzeichnisse/Dateien sollen nicht durchsucht werden #Disallow_Path_Start #Disallow_Path_end