Tehnični pogoji za AI vidnost so infrastrukturne in kodne zahteve, ki AI iskalnikom - GPTBot (OpenAI), PerplexityBot, ClaudeBot (Anthropic), Google-Extended in drugim - omogočajo dostop do vaše strani, branje vsebine in vključitev v generirane odgovore. Brez te osnove tudi najboljša vsebina ostane nevidna za AI iskanje. Več o tem, kaj je GEO in zakaj postaja ključen, najdete v vodniku Kaj je GEO optimizacija.
Na kratko
  • AI iskalniki potrebujejo dostop: pravilno konfiguriran robots.txt in neblokirani boti.
  • Vsebina mora biti dostopna brez JavaScript izvajanja (SSR ali SSG, ne le CSR).
  • Strukturirani podatki v formatu JSON-LD so obvezni za jasno ekstrakcijo.
  • Hitrost in semantična HTML struktura odločata, ali boste pridobljeni in citirani.

Zakaj so tehnični pogoji za AI specifično GEO problem

Klasičen tehnični SEO optimizira za Googlebot; GEO zahteva, da je vaša stran dostopna, berljiva in citatu vredna desetinam različnih AI iskalnikov, ki se obnašajo drugače - predvsem ne izvajajo JavaScripta tako, kot to počne Googlebot. Več botov, drugačno pridobivanje vsebine, novi signali za citate.

Tehnične zahteve za AI iskanje se s klasičnim tehničnim SEO prekrivajo, vendar dodajo plast: dostop do različnih botov, vsebino brez JS, strukturirane podatke za ekstrakcijo in hitrost, ki preživi agresivne časovne omejitve retrieval sistemov.

Vzpon AI crawlerjev: zakaj tehnična priprava ni več opcijska

AI crawlerji so že dovolj veliki, da jih ne morete obravnavati kot obrobne obiskovalce strežnika. Realni podatki iz omrežja Vercel in analize MERJ kažejo, da GPTBot, Claude, AppleBot in PerplexityBot skupaj ustvarjajo pomemben del crawler prometa, zato dostop, hitrost in jasna strežniška vsebina neposredno vplivajo na AI vidnost.

V analizi The rise of the AI crawler sta Vercel in MERJ pokazala, da je GPTBot v enem mesecu ustvaril 569 milijonov zahtevkov v Vercelovem omrežju, Claude 370 milijonov, AppleBot 314 milijonov, PerplexityBot pa 24,4 milijona. Za primerjavo: Googlebot je v istem obdobju ustvaril 4,5 milijarde zahtevkov. To pomeni, da omenjeni AI crawlerji skupaj dosegajo približno 1,3 milijarde fetchov oziroma malo več kot 28% Googlebotovega obsega.

CrawlerObseg v analiziranem mesecuPraktičen pomen za GEO
Googlebot4,5 milijarde fetchovŠe vedno glavni referenčni crawler za klasično indeksiranje in Google AI funkcije.
GPTBot569 milijonov fetchovOpenAI promet je dovolj velik, da ga je smiselno ločeno spremljati v logih.
Claude370 milijonov fetchovClaude crawlerji kažejo drugačne vzorce dostopa, zato splošno pravilo za Googlebot ni dovolj.
AppleBot314 milijonov fetchovApple Intelligence dodaja nov sloj AI odkrivanja vsebine.
PerplexityBot24,4 milijona fetchovManjši obseg, a zelo neposredna povezava z odgovorom in citatom v AI iskanju.

Za lastnika strani je ključna posledica preprosta: AI vidnost ni samo vprašanje vsebine, ampak tudi vprašanje strežniških logov, crawler pravil, URL higiene in tega, ali je najpomembnejša informacija vidna v začetnem HTML odzivu.

Dostop AI iskalnikov do vaše strani (AI crawlers)

Vsak večji AI iskalnik uporablja svoj bot, in vsakega je v robots.txt treba obravnavati posebej. Pravilo "dovoli Googlebot" ne pokrije ničesar drugega - Gemini ima ločen bot (Google-Extended), OpenAI uporablja tri različne bote, Perplexity in Anthropic prav tako vsak po več.
BotLastnikTipPrivzeto priporočilo
GPTBotOpenAItreningdovoli
OAI-SearchBotOpenAIiskanje (živi retrieval)obvezno dovoli
ChatGPT-UserOpenAIuporabniško brskanjedovoli
PerplexityBotPerplexityiskanje + treningobvezno dovoli
Perplexity-UserPerplexityuporabniško brskanjedovoli
ClaudeBotAnthropictrening + retrievaldovoli
Google-ExtendedGoogletrening (Gemini)dovoli
GooglebotGoogleklasičen index + AI Overviewsobvezno dovoli
BingbotMicrosoftindex + Copilotobvezno dovoli
CCBotCommon Crawltrening (mnogi modeli)dovoli
Applebot-ExtendedAppletrening (Apple Intelligence)dovoli
Meta-ExternalAgentMetatreningdovoli

Najpogostejša napaka: stari robots.txt predloški blokirajo GPTBot ali Google-Extended privzeto, kar prepreči vključitev vsebine v AI odgovore. Preverite svoj robots.txt, preden začnete s katero koli GEO strategijo.

Uradna dokumentacija botov

Za najnovejša pravila in User-Agent podatke preverite uradno dokumentacijo: OpenAI crawlers in Perplexity crawlers.

Posebno opozorilo za Cloudflare

Novejša funkcija "Block AI bots" s preprostim klikom popolnoma onemogoči AI vidnost. Če je vklopljena, jo izklopite ali natančno konfigurirajte.

Minimalna varna konfiguracija v robots.txt

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://vasadomena.si/sitemap.xml

Upravljanje AI botov: search, trening, uporabniški fetch in WAF

AI crawlerjev ne upravljate z enim samim pravilom. Ločiti morate bote za iskanje, bote za treniranje modelov, uporabniško sprožene fetcherje in požarni zid (WAF), ker vsak vpliva na drugačen del AI vidnosti.

OpenAI v dokumentaciji za svoje crawlerje ločuje OAI-SearchBot, GPTBot in ChatGPT-User. OAI-SearchBot je namenjen prikazu strani v ChatGPT search rezultatih; GPTBot je povezan s treniranjem modelov; ChatGPT-User pa se uporablja pri določenih uporabniških dejanjih v ChatGPT in Custom GPT-jih. Ta razlika je pomembna: lahko želite dovoliti iskalno vidnost, hkrati pa drugače obravnavati uporabo vsebine za trening.

Podobno Perplexity v svoji dokumentaciji za PerplexityBot in Perplexity-User ločuje avtomatsko indeksiranje od uporabniško sproženih obiskov. Pri WAF pravilih zato ni dovolj ujemanje po User-Agentu; priporočljivo je kombinirati User-Agent in uradne IP razpone, ki jih ponudnik objavlja v JSON endpointih.

Tip botaPrimeriKaj storiti
Search / retrievalOAI-SearchBot, PerplexityBot, Googlebot, BingbotDovolite dostop, če želite vidnost v AI odgovorih in citatih.
TrainingGPTBot, Google-Extended, Applebot-Extended, Meta-ExternalAgentOdločitev vežite na politiko vsebine, avtorske pravice in poslovni model.
User-triggered fetchChatGPT-User, Perplexity-UserPričakujte obiske, ko uporabnik zahteva branje URL-ja ali povzetek strani.
WAF allow/blockCloudflare WAF, AWS WAF, Vercel FirewallPravila kombinirajte z User-Agentom in IP razponi; redno preverjajte loge.
Praktično opozorilo

Če je robots.txt odprt, WAF pa bota blokira z 403, AI iskalnik še vedno ne more prebrati vsebine. GEO audit mora zato preveriti oba sloja: javna crawler pravila in dejanski HTTP odziv za posamezne bote.

llms.txt - stanje in priporočilo

llms.txt je predlagana konvencija, ne potrjen citatni signal. Datoteka v korenu domene (/llms.txt) povzame ključno vsebino strani za velike jezikovne modele. Glavni ponudniki (OpenAI, Google, Anthropic) javno ne potrjujejo, da jo upoštevajo, vendar je strošek implementacije skoraj ničen.

Obravnavajte jo kot tehnično higijeno, ne kot vzvod. Več vrednosti dobite iz pravilno konfiguriranega robots.txt in JSON-LD označb kot iz llms.txt.

Kaj AI crawlerji ne vidijo: JavaScript, 404 in vsebinski tipi

Podatki iz logov kažejo, da večina velikih AI crawlerjev ne izvaja JavaScripta, hkrati pa pogosto porablja zahteve za stare assete, 404 strani in preusmeritve. Zato morajo biti glavna vsebina, meta podatki in navigacija v začetnem HTML odzivu, URL struktura pa mora biti čista.

Vercel/MERJ analiza ugotavlja, da crawlerji OpenAI (OAI-SearchBot, ChatGPT-User, GPTBot), Anthropic ClaudeBot, Meta-ExternalAgent, Bytespider, PerplexityBot in CCBot ne renderirajo strani z JavaScriptom. Gemini uporablja Googlovo infrastrukturo in zato lahko renderira podobno kot Googlebot, AppleBot pa uporablja brskalniški crawler, ki obdeluje JavaScript, CSS, Ajax in druge vire.

Pomemben detajl: ChatGPT in Claude sicer pogosto prenašata JavaScript datoteke (v analizi 11,50% oziroma 23,84% zahtevkov), vendar jih ne izvajata. Če je vsebina samo v client-side renderingu, jo lahko crawler prenese kot kodo, ne pa kot razumljiv članek, produktni opis ali navigacijo.

Opazovanje iz crawler logovPodatekTehnična posledica
ChatGPT prioritizira HTML57,70% fetchov na nextjs.org je bilo HTML vsebine.Ključni odgovor, title, meta opis in glavna navigacija naj bodo v HTML.
Claude veliko pobira slike35,17% Claude fetchov so bile slike.Slike naj imajo opisne alt atribute, stabilne URL-je in dostopne CDN vire.
404 poraba je visokaChatGPT 34,82% fetchov na 404; Claude 34,16%.Stari asseti, napačni URL-ji in slabe preusmeritve lahko zapravijo AI crawl budget.
Googlebot je učinkovitejšiGooglebot je imel 8,22% fetchov na 404 in 1,49% na preusmeritve.AI crawlerji so manj zreli, zato potrebujejo še čistejše sitemape in URL vzorce.

Google za svoje AI funkcije v Search Central dokumentaciji poudarja, da so običajne SEO osnove še vedno relevantne za AI Overviews in AI Mode: Googlebot ne sme biti blokiran, stran mora biti indeksabilna, glavna vsebina jasna, uporabniška izkušnja dobra, slike in video pa podpirajo multimodalno iskanje.

Dostopnost vsebine brez JavaScript (SSR/SSG vs CSR)

Večina AI retrieval sistemov bere le začetno HTML vsebino, ne hidrirane JavaScript različice. Če vaša vsebina obstaja šele po izvedbi React, Vue ali Svelte komponent v brskalniku odjemalca (CSR), AI iskalniki vidijo prazno stran.

Tri možnosti za AI-dostopnost:

  • SSG (Static Site Generation) - najboljša izbira za vsebinske strani. Orodja: Astro, Next.js v output: 'export', Nuxt generate, Eleventy.
  • SSR (Server-Side Rendering) - robusten za dinamično vsebino. Orodja: Next.js, Nuxt, SvelteKit, Remix.
  • CSR (Client-Side Rendering) - izogibajte se za GEO ključne strani.

Dostopnost preverite z enostavnim ukazom v terminalu:

curl -s https://vasadomena.si/vasa-stran | grep -i "vaša ključna fraza"

Če curl vašo frazo najde, je vsebina dostopna AI iskalnikom. Če je ne najde, vsebina obstaja samo po izvedbi JavaScripta - in v AI iskanju je izgubljena.

Strukturirani podatki (Schema.org / JSON-LD)

Strukturirani podatki v formatu JSON-LD so najjasnejši signal AI iskalnikom o tem, kaj vaša stran je in kaj vsebuje. Microdata in RDFa še delujeta, vendar JSON-LD je standard, ki ga sistemi najlažje razčlenijo, in ga je najlažje vzdrževati ločeno od HTML strukture.

Ključne sheme za GEO vidnost:

  • Article ali TechArticle - za vsak vsebinski članek; vključite author, datePublished, dateModified.
  • FAQPage - izjemno visok citatni potencial za AI odgovore.
  • HowTo - postopki in vodniki po korakih.
  • Organization in Person - entitetna avtoriteta blagovne znamke in avtorja.
  • BreadcrumbList - strukturna jasnost in jasen prikaz hierarhije.
  • Product, Event, Recipe - kjer je smiselno glede na vsebino.

Veljavnost vedno preverite z orodjema Google Rich Results Test in Schema.org Validator. Več o tem, zakaj so strukturirani podatki temelj GEO, je razloženo v vodniku Kaj je GEO optimizacija.

Hitrost in Core Web Vitals

Počasna stran ne postane vir. Retrieval sistemi imajo agresivne časovne omejitve - če se vaša stran nalaga štiri sekunde, je v praksi sploh ne pridobijo, kaj šele navedejo.
  • LCP (Largest Contentful Paint) < 2,5 s
  • INP (Interaction to Next Paint) < 200 ms
  • CLS (Cumulative Layout Shift) < 0,1

Merite v PageSpeed Insights - realne uporabniške podatke (CrUX), ne le sintetične vrednosti laboratorijskega testa.

Semantična HTML struktura in indeksabilnost

Pravilna HTML struktura AI iskalnikom omogoča, da izločijo posamezne odseke kot samostojne odgovore. Uporabite <article>, <section>, <main> in <nav>; ohranite eno <h1> na stran in logično <h2> / <h3> hierarhijo; tabele zapišite v <table>, ne v <div> mreže.

Hkrati poskrbite za osnovno HTTP higieno: status 200 na ključnih straneh, brez nehoteno nastavljenega noindex, čisti kanonični URL-ji, HTTPS s TLS, veljaven XML sitemap in pravilne 301 preusmeritve. Vsaka slika naj ima opisni alt - AI modeli ga berejo kot vsebinski signal, ne le kot dostopnostni element.

Tehnični kontrolni seznam za AI vidnost

Hitri pregled: če vse spodnje točke odkljukate, ste tehnično pripravljeni za AI iskalnike.
  • robots.txt dovoljuje OAI-SearchBot, PerplexityBot, ClaudeBot, Google-Extended, Googlebot in Bingbot.
  • Cloudflare "Block AI bots" je izklopljen ali natančno konfiguriran.
  • Vsebina je dostopna brez JavaScript (preverjeno s curl).
  • JSON-LD sheme (Article + FAQPage + BreadcrumbList + Person) so prisotne in veljavne.
  • LCP < 2,5 s, INP < 200 ms, CLS < 0,1 v PageSpeed Insights.
  • Ena <h1> na stran in logična hierarhija <h2> / <h3>.
  • HTTPS, čisti kanoniki, brez nehoteno nastavljenega noindex.
  • Veljaven XML sitemap, brez 404 ali soft-404 na ključnih straneh.
  • Opisni alt atributi na vseh ključnih slikah.
  • Stran je mobilno prilagojena, viewport meta je nastavljen.

Najpogostejše tehnične napake, ki prikrijejo vsebino pred AI iskalniki

  • Blokirani AI boti v starem robots.txt. Predloški iz 2023 in 2024 pogosto blokirajo GPTBot ali Google-Extended privzeto.
  • Cloudflare "Block AI bots" vklopljen. Z enim klikom onemogoči vso AI vidnost.
  • Vsebina samo v JavaScriptu. CSR aplikacije brez SSR ali SSG so za AI iskalnike prazne.
  • Manjkajoč ali napačen JSON-LD. AI sistemi strani ne morejo strukturno razumeti.
  • Slab TTFB in slab LCP. Retrieval timeout vas odreže pred branjem.
  • Podedovan noindex iz staging okolja. To je pogosta "tiha" napaka po lansiranju.
  • Blokirana CDN poddomena za AI bote. Slike in podatki niso dostopni, čeprav je glavna domena odprta.

Pogosta vprašanja

Ali GPTBot vpliva na uvrstitev v Googlu?

Ne. GPTBot je crawler OpenAI za treniranje modelov ChatGPT in nima vpliva na klasično Googlovo uvrstitev. Vpliva pa na to, ali bo vaša vsebina del prihodnjih različic modela.

Ali moram dovoliti Google-Extended?

Da, če želite, da Google Gemini in povezani AI sistemi vključujejo vašo vsebino v odgovore. Google-Extended je ločen signal od Googlebot in ga nekateri robots.txt predloški privzeto blokirajo.

Ali llms.txt dejansko deluje?

Njena uporaba pri večjih ponudnikih ni javno potrjena. Implementirajte jo kot poceni higieno, ne kot zanesljiv citatni vzvod.

Kako vem, ali AI boti dejansko obiskujejo mojo stran?

Preverite strežniške dnevnike (server logs) ali analitiko CDN-ja, na primer Cloudflare Analytics, za User-Agent stringe omenjenih botov. Če v zadnjem mesecu ni nobenega obiska s strani OAI-SearchBot ali PerplexityBot, vaša stran v praksi ni del AI iskanja.

Ali Cloudflare blokira AI bote?

Cloudflare ima vgrajeno funkcijo "Block AI bots", ki je v nekaterih paketih vklopljena privzeto. Preverite nastavitve, preden začnete z GEO strategijo - to je najpogostejša "skrita" tehnična ovira.

Ali je SSR ali SSG obvezen za AI vidnost?

Za ključne vsebinske strani je SSR ali SSG močno priporočljiv. Večina AI crawlerjev ne izvaja JavaScripta, zato mora biti glavna vsebina, navigacija in meta informacija prisotna že v začetnem HTML odzivu. Client-side rendering lahko ostane za izboljšave vmesnika, ne pa za vsebino, ki jo želite imeti v AI odgovorih.

Ali zadostuje, da AI bote dovolimo samo v robots.txt?

Ne vedno. robots.txt je potreben prvi korak, vendar lahko WAF, CDN pravila, rate limiting ali blokirani IP razponi še vedno preprečijo dostop. Zato pri tehničnem GEO auditu preverite tudi dejanske HTTP odzive, strežniške dnevnike in ali bot vidi status 200 na ključnih URL-jih.

Kako pogosto naj preverjam tehnično AI vidnost?

Osnovni pregled naredite po vsaki večji spremembi strani, CMS-ja, CDN-ja ali robots.txt pravil. Pri pomembnih vsebinskih straneh je smiselno mesečno preveriti crawler loge, statusne kode, sitemape in veljavnost strukturiranih podatkov, ker se pravila AI botov in WAF nastavitve hitro spreminjajo.

Zaključek

Tehnični pogoji so temelj GEO vidnosti. Brez njih je vsebinska in entitetna optimizacija nesmiselna - AI iskalniki ne morejo navesti tistega, česar ne morejo pridobiti, prebrati in strukturno razumeti.

Vaš prvi korak ni boljša vsebina, ampak zagotovilo, da je obstoječa vsebina za AI iskalnike sploh dosegljiva.

Več o tem, kaj GEO optimizacija je in zakaj je tehnična plast le ena od štirih, najdete v vodniku Kaj je GEO optimizacija.

Vid Lavrenčič

Vid Lavrenčič, MSc

SEO in GEO strokovnjak

SEO in GEO svetovalec z več kot 13 leti izkušenj ter več kot 200 izvedenimi SEO kampanjami po svetu. Podjetjem pomaga izboljšati organsko vidnost, tehnično pripravljenost spletnih strani, vsebinsko strategijo in prisotnost v sodobnih iskalnih izkušnjah, vključno z AI iskanjem. Njegov pristop temelji na podatkih, jasni strategiji in merljivih poslovnih rezultatih.

Sorodni prispevki
Tehnični vodič - tukaj ste Tehnični pogoji za AI vidnost Dostop AI botov, strukturirani podatki, indeksabilnost in vsebina, ki jo modeli lahko preberejo. Glavni vodič Kaj je GEO optimizacija? Definicija, glavne razlike, postopek optimizacije in merjenje uspešnosti v slovenskem prostoru. Podporni vodič GEO vs. SEO: kaj se je spremenilo Primerjava klasičnega iskanja in AI odgovorov: cilji, signali, KPI-ji in strategija.