# vpntester.org — robots.txt
#
# WICHTIG: Ein Bot, fuer den eine eigene "User-agent"-Gruppe existiert, wertet
# AUSSCHLIESSLICH diese Gruppe aus und ignoriert "User-agent: *" vollstaendig.
# Deshalb werden die Sperren in jeder Gruppe wiederholt. Zuvor stand hier eine
# Gruppe "GoogleBot" mit nur einem Crawl-delay — dadurch galten fuer Google
# keinerlei Sperren, und das Crawl-delay wertet Google ohnehin nicht aus.
# Googlebot faellt jetzt bewusst auf die Gruppe "*" zurueck.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /geroy-enter
Disallow: /testers-eintritt
Disallow: /link/
Disallow: /en/hilfe/
Allow: /wp-admin/admin-ajax.php

# KI-Crawler: erlaubt, aber gedrosselt.
User-agent: GPTBot
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /geroy-enter
Disallow: /testers-eintritt
Disallow: /link/
Allow: /wp-admin/admin-ajax.php
Crawl-delay: 5

User-agent: ClaudeBot
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /geroy-enter
Disallow: /testers-eintritt
Disallow: /link/
Allow: /wp-admin/admin-ajax.php
Crawl-delay: 5

User-agent: anthropic-ai
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /geroy-enter
Disallow: /testers-eintritt
Disallow: /link/
Allow: /wp-admin/admin-ajax.php
Crawl-delay: 5

User-agent: Applebot
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /geroy-enter
Disallow: /testers-eintritt
Disallow: /link/
Allow: /wp-admin/admin-ajax.php
Crawl-delay: 5

User-agent: meta-externalagent
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /geroy-enter
Disallow: /testers-eintritt
Disallow: /link/
Allow: /wp-admin/admin-ajax.php
Crawl-delay: 5

User-agent: AmazonBot
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /geroy-enter
Disallow: /testers-eintritt
Disallow: /link/
Allow: /wp-admin/admin-ajax.php
Crawl-delay: 10

# Unser eigenes Audit-Werkzeug: AhrefsSiteAudit crawlt nur die selbst
# bestaetigte Domain und war bisher versehentlich komplett gesperrt.
User-agent: AhrefsSiteAudit
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /geroy-enter
Disallow: /testers-eintritt
Disallow: /link/
Allow: /wp-admin/admin-ajax.php
Crawl-delay: 5

User-agent: SemrushBot
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /geroy-enter
Disallow: /testers-eintritt
Disallow: /link/
Crawl-delay: 10

# Aggressive bzw. fuer uns nutzlose Crawler.
User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: omgili
Disallow: /

User-agent: omgilibot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

Sitemap: https://vpntester.org/sitemap_index.xml