SeonautikBot

SeonautikBot ist der Crawler von seonautik.de. Er ruft eine Website nur auf, wenn jemand für genau diese Domain einen Check angefordert hat, in der Regel der Betreiber selbst.

Verhalten

• User-Agent: Mozilla/5.0 (compatible; SeonautikBot/1.0; +https://seonautik.de/bot)
• Beachtet die robots.txt (User-agent: SeonautikBot oder *). Nur die Startseite wird immer geladen.
• Höchstens 2 Anfragen pro Sekunde und Host, maximal 50 Seiten (Pro-Check: 500), Abbruch nach 4 Minuten.
• Lädt keine Bilder, Videos oder Downloads, nur HTML, robots.txt, Sitemaps und Kopfdaten von Bildern.
• Speichert Inhalte nur so lange, wie sie für den Report gebraucht werden.

Blockieren

User-agent: SeonautikBot
Disallow: /

Fragen oder Beschwerden: hallo@seonautik.de