# Text webu je pro vyhledávače i pro roboty, kteří živí odpovídače, otevřený.
# Odkaz na web je k něčemu dobrý a zavírat kvůli tomu dveře nemá smysl.
#
# ‼️ Fotky ne. Stránka /usage/ říká, že se nesmějí použít jako trénovací data,
# a tahle část to říká i strojově — samotná věta na stránce je pro crawler
# neviditelná. Fotky na webu jsou VŠECHNY pod /_astro/, protože je tam sype
# build; zavřít tu složku tedy znamená zavřít fotky, a nic jiného než statická
# média tam není.
#
# ‼️ Zavřít celý web těmhle robotům by znamenalo zmizet i z odpovědí, které
# na zdroj odkazují — to je opačný problém než ten, který se tu řeší.
#
# Právní výhrada k dolování dat je v /.well-known/tdmrep.json a v hlavičkách
# `tdm-reservation` a `tdm-policy`, které web posílá u každé odpovědi.

User-agent: *
Allow: /

# Trénovací roboti — fotky ne, text ano.
User-agent: GPTBot
User-agent: Google-Extended
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Claude-Web
User-agent: CCBot
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: FacebookBot
User-agent: Bytespider
User-agent: Amazonbot
User-agent: PerplexityBot
User-agent: Diffbot
User-agent: cohere-ai
User-agent: Omgilibot
User-agent: Timpibot
User-agent: AI2Bot
Disallow: /_astro/

# Sběrači obrázků do datových sad. Tyhle nechodí pro nic jiného než pro fotky,
# takže u nich nemá co zůstat otevřené.
User-agent: ImagesiftBot
User-agent: img2dataset
Disallow: /

Sitemap: https://matejsamec.cz/sitemap-index.xml