# robots.txt - flamicroz.com
# Arendusdomeeni kaitse agressiivsete crawlerite eest

# Faceted search URL-id - lopmatute filtrikombinatsioonide blokeerimine
# See on peamine ressursside uletamise pohjus!
User-agent: *
Disallow: /*?q=
Disallow: /et/avalehele-2?
Disallow: /en/home-2?

# Meta/Facebook crawlerid - taielik blokeering
User-agent: meta-externalagent
Disallow: /

User-agent: meta-webindexer
Disallow: /

# Barkrowler - agressiivne crawler
User-agent: Barkrowler
Disallow: /

# PetalBot (Huawei)
User-agent: PetalBot
Disallow: /

# Bytespider/TikTok
User-agent: Bytespider
Disallow: /

User-agent: TikTokSpider
Disallow: /

# SEO toolid (mittevajalikud arendusdomeenile)
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: IbouBot
Disallow: /

User-agent: serpstatbot
Disallow: /

User-agent: Coccocbot
Disallow: /

User-agent: BitSightBot
Disallow: /

# Crawl-delay pahaaimamatutele botidele
User-agent: Googlebot
Crawl-delay: 10

User-agent: Bingbot
Crawl-delay: 10

User-agent: Applebot
Crawl-delay: 10
# ─────────────────────────────────────────────────────────────────────
# Estreka Ratsaklubi (https://flamicroz.com/ratsaklubi.estreka)
#
# NB 1: see EI OLE terve fail. Domeeni juures (~/public_html/robots.txt)
#       on juba flamicroz.com-i enda robots.txt botiblokkidega. Need read
#       LISATAKSE selle lõppu — faili ei tohi üle kirjutada.
#       Vt docs/deploy-robots.md
#
# NB 2: keelud on korratud iga nimelise roomaja jaoks meelega. Robots.txt
#       reegel: kui roomajal on OMA rühm, ignoreerib ta "User-agent: *"
#       rühma TÄIELIKULT. Juurfailis on Googlebot'il, Bingbot'il ja
#       Applebot'il oma Crawl-delay rühmad, seega ainult "*" alla pandud
#       keelud EI kehtiks just neile. Google liidab sama agendi rühmad.
# ─────────────────────────────────────────────────────────────────────

User-agent: *
Disallow: /ratsaklubi.estreka/admin/
Disallow: /ratsaklubi.estreka/athlete/
Disallow: /ratsaklubi.estreka/api/
Disallow: /ratsaklubi.estreka/includes/
Disallow: /ratsaklubi.estreka/config/
Disallow: /ratsaklubi.estreka/tools/
Disallow: /ratsaklubi.estreka/tests/
Disallow: /ratsaklubi.estreka/logs/
Disallow: /ratsaklubi.estreka/backups/

User-agent: Googlebot
Disallow: /ratsaklubi.estreka/admin/
Disallow: /ratsaklubi.estreka/athlete/
Disallow: /ratsaklubi.estreka/api/
Disallow: /ratsaklubi.estreka/includes/
Disallow: /ratsaklubi.estreka/config/
Disallow: /ratsaklubi.estreka/tools/
Disallow: /ratsaklubi.estreka/tests/
Disallow: /ratsaklubi.estreka/logs/
Disallow: /ratsaklubi.estreka/backups/

User-agent: Bingbot
Disallow: /ratsaklubi.estreka/admin/
Disallow: /ratsaklubi.estreka/athlete/
Disallow: /ratsaklubi.estreka/api/
Disallow: /ratsaklubi.estreka/includes/
Disallow: /ratsaklubi.estreka/config/
Disallow: /ratsaklubi.estreka/tools/
Disallow: /ratsaklubi.estreka/tests/
Disallow: /ratsaklubi.estreka/logs/
Disallow: /ratsaklubi.estreka/backups/

User-agent: Applebot
Disallow: /ratsaklubi.estreka/admin/
Disallow: /ratsaklubi.estreka/athlete/
Disallow: /ratsaklubi.estreka/api/
Disallow: /ratsaklubi.estreka/includes/
Disallow: /ratsaklubi.estreka/config/
Disallow: /ratsaklubi.estreka/tools/
Disallow: /ratsaklubi.estreka/tests/
Disallow: /ratsaklubi.estreka/logs/
Disallow: /ratsaklubi.estreka/backups/

Sitemap: https://flamicroz.com/ratsaklubi.estreka/sitemap.php