Robots.txt

Eine robots.txt-Datei enth√§lt Anweisungen f√ľr Suchmaschinen. Sie k√∂nnen damit verhindern, dass Suchmaschinen bestimmte Teile Ihrer Website crawlen und Suchmaschinen hilfreiche Tipps geben, wie sie Ihre Website am besten crawlen k√∂nnen.