Cloudflare pani AI crawler'id kolme kasti. Kui valid valesti, võib Googlebot ka ukse taha jääda.

Kui tahad kõige lühemat vastust, siis see on see: Cloudflare'i 1. juuli 2026 muudatus teeb enne 15. septembrit ühe auditi kiireks. Kui sa blokeerid AI treeningu liiga toorelt, võib sama otsus hakata piirama ka seda, kuidas sinu sisu leitakse otsingus ja AI vastustes.

Kiire vastus turundusjuhile:

• Cloudflare jagab nüüd automatiseeritud liikluse kolmeks: Search, Agent ja Training.
• Alates 15. septembrist 2026 rakenduvad uutele domeenidele uued vaikeseaded, kus Training ja Agent võivad reklaami näitavatel lehtedel vaikimisi kinni minna, aga Search jääb lubatuks.
• Probleem on selles, et mitme otstarbega crawler'id alluvad kõige rangemale reeglile. See tähendab, et kui sa blokeerid Training liiga pimesi, võib ukse taha jääda ka Googlebot'i, Applebot'i või BingBot'i selline liiklus, mis aitab sind muidu leida.

Just see oli 2. juuli 2026 X-i kõige teravam praktiline signaal AI leitavuse teemal. Jutt ei keerelnud selle ümber, kas AI botid on head või halvad. Jutt keerles selle ümber, et liiga lihtne "blokime AI ära" nupp võib nüüd hakata karistama ka neid tiime, kes tahavad otsingus ja answer-engine'ides nähtavaks jääda.

Kui sinu meeskond kasutab Cloudflare'i, siis ma ei loeks seda ainult publisher'i võimuheitluseks. Mina loeks seda 30-minuti auditiks, mis otsustab, kas sa kaitsed oma sisu targalt või teed oma leitavusele kogemata liiga.

Mis 1. juulil 2026 päriselt muutus

Cloudflare kirjutas 1. juulil 2026, et kõik kliendid saavad nüüd AI liiklust hallata kolme käitumise kaupa:

• Search: crawler kogub ja indekseerib sinu sisu, et sellele hiljem otsingus või vastustes viidata.
• Agent: bot või agent tuleb sinu saidile midagi kohe ära tegema inimese nimel.
• Training: crawler kogub sinu sisu mudeli treenimiseks või fine-tune'imiseks.

See on palju targem jaotus kui vana umbmäärane "AI bots" kast. Aga sama muudatus toob kaasa uue juhtimisriski. Cloudflare ütleb ise, et mitme otstarbega crawler'id alluvad kõige rangemale sobivale reeglile. Nende enda näites võib Training bloki taga kinni minna ka Googlebot, Applebot või BingBot, kui sama crawler teeb rohkem kui üht asja.

See on koht, kus SEO, GEO ja tehniline konfiguratsioon jooksevad ühte lausesse. Kui vanas maailmas piisas sageli sellest, et sa teadsid, kas blokid treeningut või mitte, siis nüüd pead sa aru saama ka sellest, millise käitumise sa tegelikult ukse taha jätad.

Kui tahad laiemat pilti sellest, miks AI otsing üleüldse teistmoodi toimib, siis raport Google AI Mode, ChatGPT ja agent-otsing: kuidas teha oma ettevõtte koduleht 2026. aastal leitavaks annab selle suurema raami juba kätte. Cloudflare'i muudatus on selle raporti jaoks väga praktiline järgmine peatükk.

Miks see läheb korda ka väikesele Eesti saidile

Cloudflare ise tunnistas oma 1. juuli loos ühte ebamugavat tõde: väike sait ei muretse ainult selle pärast, et keegi tema sisu treenimiseks kraabib. Väike sait muretseb ka selle pärast, et teda üldse leitaks.

See on Eesti turundusjuhile oluline nurk. Kui sinu sait teenib läbi:

• orgaanilise otsingu
• sisuturunduse
• AI answer-engine'ide viidete
• teenuslehtede ja ressursside seesmise linkimise

siis ei ole "blokime AI ära" strateegia piisavalt täpselt sõnastatud. Sul on vaja otsustada, mida sa tahad lubada leitavuse nimel ja mida sa tahad piirata sisu kaitsmise nimel.

Just selle pärast on see hea teema AI turundusmeeskonnale ja laiemalt sisu- ning veebitiimide jaoks. Probleem ei ole ainult robots.txt. Probleem on selles, kas turundus, tehniline omanik ja sisutiim saavad ühte moodi aru, milline liiklus on neile tegelikult kasulik.

Kus meeskonnad kõige sagedamini eksivad

1. Nad kohtlevad kõiki AI botte kui ühte ja sama asja

See oli veel eelmisel aastal mingil määral arusaadav. Nüüd enam mitte. Search, Agent ja Training ei ole sama asi.

Kui sa tahad, et sinu sisu jõuaks otsingusse, AI answer'itesse või agendi otsingukihti, siis ei saa sa teha otsust ainult sildi "AI" pealt. Sul on vaja otsustada kasutusjuhtude kaupa.

2. Nad eeldavad, et Search = alati ohutu ja Training = alati eraldi

Cloudflare'i praegune hoiatus on just vastupidine: osa crawler'eid tuleb kohelda kui mitme otstarbega külalisi. Kui nad teevad korraga nii otsingu kui treeningu moodi asju, siis hakkab kehtima kõige rangem reegel.

See on ka põhjus, miks 2. juuli X aruteludes kordus sama toon: audit your Training rules now. Mitte pärast. Mitte siis, kui liiklus juba kukkus.

3. Nad arvavad, et see on ainult SEO inimese mure

Ei ole. See on korraga:

• turunduse teema, sest leitavus ja viited võivad muutuda
• tehnilise omaniku teema, sest seadistus elab tavaliselt infrastruktuuri poolel
• juhtimisteema, sest keegi peab otsustama, milline sisu on kaitsmist väärt ja milline nähtavus on ära kriitiline

Kui need kolm vaadet ei kohtu, siis on väga lihtne teha tehniliselt korrektne, aga äriliselt vale otsus.

Viie punktiga audit enne 15. septembrit 2026

Kui sinu sait on Cloudflare'i taga, siis mina kontrolliksin järgmise nädala jooksul viis asja.

1. Kas sul on praegu sees vana või liiga ülene AI boti blokk

Kui kasutad varasemat "Block AI bots" loogikat või oled treeningu lihtsalt kinni keeranud ilma eristamata, alusta sealt. Kõige suurem risk ei ole uus reegel iseenesest. Kõige suurem risk on vana lihtsustus, mis elab uues maailmas edasi.

2. Kas sul on tegelikult kirjas, mida tahad lubada

Pane end sunniviisiliselt valima mitte tehnoloogia, vaid eesmärgi järgi:

• kas tahad olla leitav otsingus
• kas tahad, et agent saaks sinu saidilt midagi otse teha
• kas tahad keelata treeningu

Kui vastused on erinevad, siis peab ka poliitika olema erinev.

3. Kas kõige olulisemad teenus- ja sisulehed vajavad erinevat kohtlemist

Cloudflare'i enda vaike vaikeseadistus puudutab reklaami näitavaid lehti, aga turunduslikult tasub mõelda veel laiemalt. Kõik lehed ei kanna sama rolli.

• teenusleht tahab nähtavust ja selget viidatavust
• raport tahab tsitaate ja leitavust
• mõne ressursilehe puhul võib treeningu piiramine olla palju olulisem kui agendikülastuse lubamine

Kui kõik lehed saavad sama poliitika, siis on see tavaliselt rohkem mugavus kui strateegia.

4. Kas sa näed, millised botid sind tegelikult külastavad

Cloudflare'i enda learning center soovitab vaadata logisid, user-agent'e ja boti raportit, mitte ainult oletada. Kui sa ei tea, millised kontrollitud botid sind päriselt kraabivad, siis on raske otsustada, keda tasub lubada, blokeerida või eraldi monitoorida.

5. Kas sul on märk, kui leitavus muutub

Kui sa muudatuse teed, siis ära jää lootma ainult tundele. Vaata pärast seda:

• kas orgaaniline leitavus muutub
• kas peamised sisulehed saavad endiselt indekseeritud
• kas AI answer-surface'ides jooksevad viited samamoodi edasi
• kas tehniline omanik näeb logides ootamatut muutust crawl mustrites

Kui sa tahad sellele kiire auditivaate kohe peale teha, siis siin all olev tööriist aitab sul vaadata, kas sinu sait on AI otsinguks ja tsitaatideks tehniliselt piisavalt loetav.

Millal ma lubaksin rohkem ja millal piiraksin rohkem

Ma ei annaks siin ühte universaalset reeglit. Küll aga annaksin ühe lihtsa otsustusraami.

Luba rohkem siis, kui:

• sinu kasv tuleb otsingust, answer-engine'ide viidetest ja sisuleitavusest
• sul on tugevad teenus- või raportilehed, mida tahad tsitaadiks muuta
• sul ei ole veel piisavalt head pilti sellest, milline bot miks sind külastab

Piira tugevamalt siis, kui:

• konkreetne sisu on väike, kallis või unikaalne ja sa ei taha seda treeningusse anda
• sul on selge äriline põhjus, miks tahad treeningu agentidest lahutada
• sa tead, millise leitavuse kaoga oled nõus kaasa minema

See viimane punkt on kõige alus. Sa ei tohiks keelata midagi ainult sellepärast, et nupp on olemas. Sa peaksid keelama siis, kui tead, millise väärtuse eest sa seda teed.

Kui sinu meeskond alles ehitab laiemat AI leitavuse baasi, siis promptid ja seesama AI otsingu raport annavad hea alguse. Kui sul on vaja selle teemaga koos otsustada, mida sisu-, turundus- ja juhtimistiim peaksid ühiselt muutma, siis teenused on loomulik järgmine samm.

Alumine rida

Cloudflare'i 1. juuli 2026 muudatus ei ütle, et sa peaksid AI treeningu vabaks laskma. Ta ütleb midagi palju olulisemat: sa ei saa enam teeselda, et otsing, agent ja treening on üks ja sama asi.

Kui sa valid valesti, ei juhtu ainult see, et mudel ei treeni sinu peal. Võib juhtuda ka see, et sinu sisu on halvemini leitav seal, kus inimesed ja AI seda muidu kasutada võiksid.

Enne 15. septembrit 2026 tasub see valik läbi mõelda. Mitte poliitilise reaktsioonina, vaid turundusliku, tehnilise ja ärilise otsusena.

Allikad

• Cloudflare: Your site, your rules: new AI traffic options for all customers
• Search Engine Journal: Cloudflare's AI Crawler Rules Can Block Googlebot
• Cloudflare Learning Center: How to detect which AI bots crawl your site
• Pedro Dias on X: breakdown of Cloudflare's new crawler taxonomy and the Googlebot risk