Crawlability για AI Agents και E-shop: Πώς Γίνονται Προσβάσιμα τα Προϊόντα σε Search Engines και AI Systems

Ένα προϊόν μπορεί να υπάρχει κανονικά στο e-shop, να εμφανίζεται όταν ο χρήστης κάνει αναζήτηση και να μπορεί να αγοραστεί, χωρίς αυτό να σημαίνει ότι ένας crawler μπορεί να το ανακαλύψει εύκολα.  Αν το προϊόν εμφανίζεται μόνο μετά από ένα click στο Load More, βρίσκεται αποκλειστικά πίσω από το internal search, συνδέεται μέσω JavaScript χωρίς πραγματικό link ή μπλοκάρεται από το WAF (Web Application Firewall), η τεχνική διαδρομή που βλέπει ένα search engine ή ένα AI system μπορεί να διαφέρει σημαντικά από αυτή που βλέπει ο χρήστης.
Αυτό είναι το βασικό πρόβλημα του crawlability σε ένα e-shop. Τα προϊόντα, οι κατηγορίες και οι κρίσιμες εμπορικές σελίδες πρέπει πρώτα να μπορούν να ανακαλυφθούν και να προσπελαστούν τεχνικά.  Μόνο μετά μπορούν τα συστήματα να αξιοποιήσουν τα σωστά product data, τα structured data, τα feeds και τα υπόλοιπα commerce signals.
Στο Agentic Commerce SEO, επομένως, το crawlability δεν αποτελεί ένα απομονωμένο Technical SEO check. Αποτελεί τη βάση που επιτρέπει στους search crawlers, στους AI search crawlers και, σε διαφορετικό επίπεδο, σε ορισμένους AI agents να φτάσουν στις πληροφορίες που χρειάζονται.

Τι σημαίνει crawlability για ένα e-shop στην εποχή των AI agents

Το crawlability περιγράφει τη δυνατότητα ενός crawler να ανακαλύψει ένα URL, να το ζητήσει από τον server και να αποκτήσει πρόσβαση στο περιεχόμενο και στα resources που χρειάζεται. Δεν ταυτίζεται με το indexing. Ένα URL μπορεί να είναι crawlable αλλά να μην καταλήξει στο index, όπως επίσης ένα URL που έχει μπλοκαριστεί από το robots.txt δεν χρησιμοποιεί απαραίτητα αυτόν τον αποκλεισμό ως μηχανισμό αποτροπής του indexing.

Για ένα e-shop, η πρακτική ακολουθία είναι:

• Discovery: ο crawler πρέπει να βρει το product ή category URL.
• Access: ο server, το CDN και το WAF πρέπει να επιτρέψουν το request.
• Fetching: ο crawler πρέπει να λάβει χρήσιμο HTTP response.
• Rendering, όπου εφαρμόζεται: το system πρέπει να μπορεί να επεξεργαστεί το περιεχόμενο που εξαρτάται από JavaScript.
• Indexing ή retrieval: το αντίστοιχο system αποφασίζει πώς θα αξιοποιήσει το περιεχόμενο.

Η Google διευκρινίζει ότι τα καθιερωμένα SEO best practices εξακολουθούν να ισχύουν για τα AI Overviews και το AI Mode. Δεν απαιτεί ξεχωριστό AI-only markup ή κάποια ειδική τεχνική μέθοδο crawlability για να γίνει μία σελίδα επιλέξιμη για αυτές τις λειτουργίες. Αυτό σημαίνει ότι η σωστή τεχνική πρόσβαση παραμένει η βάση και στο περιβάλλον του AI Search.

Search crawlers, AI search crawlers και AI agents δεν είναι το ίδιο

Ο όρος «AI crawler» συχνά χρησιμοποιείται σαν να περιγράφει ένα ενιαίο είδος bot. Στην πράξη, διαφορετικά automated systems εξυπηρετούν διαφορετικούς σκοπούς. Ένα e-shop πρέπει να γνωρίζει αυτή τη διαφορά πριν αποφασίσει ποια bots θέλει να επιτρέπει.

Πώς ανακαλύπτουν crawlers και AI systems τα προϊόντα ενός e-shop

Το product discovery ξεκινά από τα links. Για τη Google, η δομή της πλοήγησης και οι σχέσεις ανάμεσα στις σελίδες βοηθούν τον crawler να εντοπίσει τα product pages και να καταλάβει τη σχετική σημασία τους. Σε ένα τυπικό e-shop, η καθαρή διαδρομή είναι:

menu → category → subcategory → product

Το e-shop δεν πρέπει να θεωρεί ότι η ύπαρξη ενός product record στη βάση δεδομένων αρκεί. Ο crawler χρειάζεται πραγματική διαδρομή προς το URL.

Crawlable αρχιτεκτονική από τις κατηγορίες μέχρι τα προϊόντα

Τα βασικά navigation paths πρέπει να χρησιμοποιούν πραγματικά links. Για σημαντικά product και category pages, η ασφαλής HTML βάση είναι ένα κανονικό anchor με href, όχι ένα element που λειτουργεί μόνο όταν εκτελεστεί JavaScript.

Ένα e-shop με 20.000 προϊόντα χρειάζεται να μπορεί να απαντήσει:

• Υπάρχει crawlable path από το βασικό navigation προς κάθε ενεργή κατηγορία;
• Συνδέεται κάθε σημαντικό product URL από τουλάχιστον ένα crawlable category ή άλλη σχετική σελίδα;
• Μπορεί ο crawler να φτάσει βαθύτερα στον κατάλογο χωρίς να χρησιμοποιήσει internal search;
• Παραμένουν τα links διαθέσιμα στο HTML ή στο rendered DOM χωρίς υποχρεωτικό user interaction;

Η αρχιτεκτονική αυτή δεν αντικαθιστά την ποιότητα του catalog. Αν ο crawler βρίσκει το URL αλλά το προϊόν έχει ασαφείς identifiers, λάθος attributes ή αντικρουόμενα data, το πρόβλημα μετακινείται από το crawlability στην ποιότητα των product data.

Orphan products και προϊόντα διαθέσιμα μόνο μέσω internal search

Orphan product είναι ένα ενεργό product URL που δεν συνδέεται ουσιαστικά από την crawlable αρχιτεκτονική του site. Μπορεί να υπάρχει στο database, στο feed ή στο sitemap, αλλά να μην έχει φυσική internal link διαδρομή από τα category pages.

Ένα αντίστοιχο πρόβλημα εμφανίζεται όταν το e-shop επιτρέπει στον χρήστη να βρει ένα προϊόν μόνο μέσω του search box. Ο άνθρωπος πληκτρολογεί τον κωδικό ή το όνομα και το frontend επιστρέφει το προϊόν. Ένας crawler, όμως, δεν λειτουργεί απαραίτητα σαν χρήστης που συμπληρώνει τη φόρμα αναζήτησης.

Το XML sitemap μπορεί να βοηθήσει να ανακαλυφθεί το orphan URL, αλλά δεν διορθώνει την αδύναμη εσωτερική αρχιτεκτονική.

XML sitemaps ως συμπληρωματικό discovery layer

Το XML sitemap ενημερώνει τα search engines για URLs που το e-shop θεωρεί σημαντικά. Σε μεγάλα catalogs, σε συχνές αλλαγές προϊόντων ή σε νέες σελίδες, αποτελεί πολύτιμο συμπληρωματικό discovery mechanism.

Το sitemap πρέπει να περιλαμβάνει τα URLs που το e-shop θέλει πραγματικά να παρουσιάζει ως canonical και σημαντικά. Δεν έχει νόημα να γεμίζει με parameter URLs, redirects, deleted products ή URLs που η ίδια η αρχιτεκτονική αντιμετωπίζει ως χαμηλής αξίας.

Pagination, load more και infinite scroll χωρίς χαμένα προϊόντα

Ένα category page μπορεί να περιέχει 1.000 προϊόντα, αλλά το initial HTML να εμφανίζει μόνο τα πρώτα 20. Αν τα υπόλοιπα φορτώνουν όταν ο χρήστης πατήσει Load More ή φτάσει στο τέλος της σελίδας, το agency πρέπει να εξετάσει αν υπάρχει crawlable URL structure που οδηγεί και στα επόμενα product sets.

Η Google αναφέρει ότι το Googlebot δεν κάνει click σε buttons για να φορτώσει περισσότερο περιεχόμενο. Για αυτό, ένα implementation που βασίζεται αποκλειστικά στο user interaction μπορεί να αφήσει μέρος του catalog εκτός της κανονικής crawlable διαδρομής.

Crawlable URLs για τις επόμενες σελίδες προϊόντων

Το pagination πρέπει να παρέχει URLs που μπορεί να ζητήσει άμεσα ένας crawler, για παράδειγμα:

• /category/shoes?page=2
• /category/shoes?page=3
• /category/shoes?page=4

Τα paginated URLs πρέπει να συνδέονται με πραγματικά crawlable links. Το frontend μπορεί παράλληλα να προσφέρει πιο σύγχρονο UX, αλλά η τεχνική διαδρομή δεν πρέπει να εξαρτάται αποκλειστικά από ένα button event.

Infinite scroll και JavaScript interactions

Το infinite scroll δεν αποτελεί από μόνο του πρόβλημα. Το πρόβλημα εμφανίζεται όταν δεν υπάρχει URL για κάθε επόμενο σύνολο αποτελεσμάτων ή όταν ο crawler πρέπει να εκτελέσει scroll/click interaction για να δημιουργήσει τα links των προϊόντων.

Ένα σωστά σχεδιασμένο implementation μπορεί να προσφέρει infinite scroll στον χρήστη και ταυτόχρονα να διατηρεί crawlable pagination πίσω από το interface. Έτσι, το UX layer και το crawler discovery layer εξυπηρετούν διαφορετικές ανάγκες χωρίς να συγκρούονται.

Faceted navigation: όταν τα φίλτρα δημιουργούν απεριόριστο crawl space

Το faceted navigation αποτελεί ένα από τα σημαντικότερα crawlability προβλήματα στα μεγάλα e-shops. Τα φίλτρα βοηθούν τον χρήστη να περιορίσει γρήγορα το catalog, αλλά μπορούν να παράγουν τεράστιο αριθμό URLs μέσω brand, χρώματος, μεγέθους, τιμής, διαθεσιμότητας, sorting και άλλων combinations.

Ένα URL όπως:

?brand=nike&color=black&size=42&sort=price

μπορεί να είναι μόνο ένα από χιλιάδες combinations. Αν το site δημιουργεί διαφορετικό URL για κάθε πιθανή σειρά parameters, εύρος τιμής, sorting mode και filter state, το crawl space μπορεί να αυξηθεί πολύ ταχύτερα από τον πραγματικό αριθμό των προϊόντων.

Filters, sorting και parameter URLs

Το e-shop πρέπει πρώτα να αποφασίσει ποια filtered pages έχουν ανεξάρτητη αξία και ποια υπάρχουν μόνο για τη διευκόλυνση του user interface. Δεν χρειάζεται κάθε επιλογή φίλτρου να δημιουργεί crawlable destination.

Για παράδειγμα, ένα σταθερό landing page «μαύρα ανδρικά παπούτσια Nike» μπορεί να εξυπηρετεί πραγματικό search demand. Αντίθετα, το ίδιο category ταξινομημένο κατά «τιμή από υψηλότερη σε χαμηλότερη» συνήθως δεν δημιουργεί διαφορετική εμπορική οντότητα.

Duplicate και practically infinite URL combinations

Η Google επισημαίνει ότι το faceted navigation μπορεί να οδηγήσει σε overcrawling και σε πιο αργή ανακάλυψη νέων, χρήσιμων URLs. Ο crawler δεν γνωρίζει πριν ζητήσει ένα νέο combination αν αυτό θα προσφέρει πραγματικά διαφορετικό περιεχόμενο.

Προβλήματα μπορούν να δημιουργήσουν:

• διαφορετική σειρά των ίδιων parameters,
• sorting parameters,
• tracking parameters που διατηρούνται σε internal links,
• πολλαπλά price ranges,
• filter values που μπορούν να συνδυαστούν χωρίς περιορισμό,
• session identifiers,
• URLs που οδηγούν στο ίδιο ουσιαστικά product set.

Το canonical μπορεί να βοηθήσει στη διαχείριση duplicate signals, αλλά δεν αποτελεί μηχανισμό που σταματά αυτόματα το crawling. Ειδικά για τα variant URLs και τη σχέση τους με canonical, η αναλυτική στρατηγική ανήκει στον οδηγό για τα Product Variants στο Agentic Commerce SEO.

Empty και nonsensical filter combinations

Ένα e-shop μπορεί να επιτρέπει combinations που δεν επιστρέφουν κανένα προϊόν, όπως ένα μη διαθέσιμο brand με ασύμβατο μέγεθος ή μία κατηγορία με price range που δεν περιέχει items. Αν κάθε τέτοια κατάσταση παράγει ξεχωριστό crawlable URL, το site δημιουργεί χαμηλής αξίας crawl paths.

Το agency πρέπει να αποφασίσει αν το συγκεκριμένο URL πρέπει να υπάρχει, αν πρέπει να παραμένει crawlable και ποιο HTTP response περιγράφει σωστά την κατάσταση. Δεν πρέπει να αφήνει το filter engine να δημιουργεί απεριόριστα URLs χωρίς crawl policy.

JavaScript rendering και product discovery

Πολλά σύγχρονα e-shops χρησιμοποιούν JavaScript για product grids, filters, variant selectors, navigation και dynamic content. Η Google διαθέτει documented rendering pipeline και επεξεργάζεται JavaScript σε στάδια crawling, rendering και indexing. Αυτό όμως δεν σημαίνει ότι κάθε AI crawler ή retrieval bot ακολουθεί το ίδιο model.

Όταν η επίσημη τεκμηρίωση ενός AI provider δεν περιγράφει ισοδύναμα rendering capabilities, το e-shop δεν πρέπει να βασίζει το κρίσιμο product discovery στην υπόθεση ότι «όλα τα bots θα εκτελέσουν το JavaScript όπως η Google».

Product content και links που δημιουργούνται με JavaScript

Το πιο ασφαλές pattern για βασικά navigation paths παραμένει το πραγματικό link:

<a href="/product/example/">Product</a>

Ένα element που ανοίγει μία σελίδα μόνο μέσω JavaScript click event δεν προσφέρει απαραίτητα στον crawler το ίδιο σαφές discovery signal με ένα κανονικό HTML link που περιέχει href.  Αν το category grid δημιουργεί product URLs μόνο αφού ολοκληρωθεί ένα JavaScript request ή ένα interaction, το agency πρέπει να ελέγξει τι περιεχόμενο και τι links λαμβάνει πραγματικά ο crawler.

Περιεχόμενο που απαιτεί click ή άλλο interaction

Η Google αναφέρει ότι δεν ενεργοποιεί user interactions όπως click, swipe ή typing για να φορτώσει primary content. Αυτό έχει άμεση σημασία για:

• Load More buttons,
• product tabs που δημιουργούν links μόνο μετά από click,
• filters που αποκαλύπτουν προϊόντα χωρίς crawlable URL,
• selectors που φορτώνουν σημαντικά product data μόνο μετά από interaction,
• navigation menus που δεν εκθέτουν links πριν από JavaScript event.

Δεν χρειάζεται κάθε accordion ή interactive component να είναι ανοιχτό από την αρχή. Το ζήτημα είναι αν το κρίσιμο product discovery εξαρτάται αποκλειστικά από interaction.

Blocked JavaScript, CSS και σημαντικά resources

Αν το e-shop μπλοκάρει JavaScript files που χρειάζεται η Google για να κάνει render το περιεχόμενο, μπορεί να περιορίσει την κατανόηση της σελίδας. Αντίστοιχα, ένα WAF ή CDN μπορεί να επιτρέψει το HTML request αλλά να μπλοκάρει resources που απαιτούνται για το τελικό page state.

Το agency πρέπει να ελέγχει το αποτέλεσμα και όχι μόνο το robots.txt rule: ποια resources ζητά ο crawler, ποια HTTP responses λαμβάνει και τι εμφανίζεται τελικά στο rendered output.

Για platform-specific προβλήματα, οι λεπτομέρειες διαφέρουν. Ένα WooCommerce implementation μπορεί να επηρεάζεται από plugins, themes και caching layers, ενώ ένα Shopify implementation ακολουθεί διαφορετικό rendering και platform architecture. Αυτές οι διαφορές καλύπτονται στους οδηγούς για WooCommerce και Agentic Commerce SEO και Shopify και Agentic Commerce SEO.

Πρόσβαση σε product images και άλλα σημαντικά resources

Τα product images αποτελούν μέρος της εμπορικής πληροφορίας ενός e-shop. Το ζητούμενο εδώ δεν είναι το Image SEO, αλλά αν ο crawler μπορεί πράγματι να ζητήσει τα image URLs.

Το e-shop πρέπει να ελέγχει αν:

• το robots.txt επιτρέπει τα image paths που πρέπει να είναι crawlable,
• το CDN επιστρέφει κανονικά τις εικόνες χωρίς challenge,
• τα image URLs δεν απαιτούν session ή προσωρινό authentication,
• το hotlink protection ή το firewall δεν απορρίπτει legitimate crawler requests,
• τα resources που χρειάζεται το rendering επιστρέφουν πραγματικό success response.

Η ανάλυση των ALT attributes, των formats και της συμπίεσης των εικόνων ανήκει σε διαφορετικό SEO scope.

HTTP status codes και errors που εμποδίζουν το crawling του e-shop

Κάθε crawler request καταλήγει σε ένα HTTP response. Για ένα e-shop, το status code μπορεί να καθορίσει αν ένα product URL θεωρείται προσβάσιμο, αν έχει μετακινηθεί, αν δεν υπάρχει πλέον ή αν ο server δεν μπορεί προσωρινά να το εξυπηρετήσει.

200, 301/308 και σωστή πρόσβαση στα εμπορικά URLs

Το 200 σημαίνει ότι το HTTP request ολοκληρώθηκε επιτυχώς, όχι ότι η σελίδα θα ενταχθεί στο index. Το e-shop πρέπει να ελέγχει και το πραγματικό response body.

Τα permanent redirects είναι χρήσιμα όταν ένα URL έχει πραγματικά μετακινηθεί. Τα μεγάλα redirect chains, όμως, προσθέτουν επιπλέον requests και αυξάνουν τον κίνδυνο αποτυχίας. Τα redirect loops μπορούν να καταστήσουν το τελικό content πρακτικά μη προσβάσιμο.

404 και soft 404 σε προϊόντα και κατηγορίες

Ένα discontinued product χωρίς αντίστοιχο replacement μπορεί να επιστρέψει πραγματικό 404. Το e-shop δεν πρέπει να ανακατευθύνει κάθε διαγραμμένο προϊόν μηχανικά στο homepage ή σε μία άσχετη κατηγορία.

Soft 404 μπορεί να εμφανιστεί όταν το URL επιστρέφει 200, αλλά το περιεχόμενο ουσιαστικά δηλώνει ότι το προϊόν δεν υπάρχει ή εμφανίζει μία σχεδόν κενή σελίδα.

429 και 5xx server errors

Το 429 συχνά προκύπτει από rate limiting. Τα 5xx δηλώνουν server-side αποτυχίες. Αν αυτά τα responses εμφανίζονται συστηματικά σε crawler requests, το e-shop μπορεί να μειώσει την πραγματική πρόσβαση ακόμη και αν τα URLs είναι σωστά συνδεδεμένα και το robots.txt τα επιτρέπει.

robots.txt για search crawlers και AI bots

Το robots.txt βρίσκεται στο root ενός hostname και δίνει crawling directives προς bots που εφαρμόζουν το Robots Exclusion Protocol ή αντίστοιχα documented policies.

Δεν αποτελεί firewall. Δεν προστατεύει private data. Δεν αποτελεί authentication. Επίσης, η Google τονίζει ότι το robots.txt δεν πρέπει να χρησιμοποιείται ως μηχανισμός για να κρατήσει ένα web page εκτός των search results.

Διαφορετικοί crawlers, διαφορετικός σκοπός

Η ύπαρξη διαφορετικών bots από τον ίδιο provider επιτρέπει στο e-shop να εφαρμόσει διαφορετική πολιτική. Για παράδειγμα, ένα site μπορεί να επιτρέπει το OAI-SearchBot αλλά να αποκλείει το GPTBot.

Η επιλογή αυτή εκφράζει policy: search access ναι, training crawling όχι. Δεν αποτελεί ranking technique και δεν πρέπει να παρουσιάζεται ως τέτοια.

Search access και training access δεν χρειάζεται να έχουν την ίδια πολιτική

Το OpenAI δηλώνει ρητά ότι οι ρυθμίσεις για το OAI-SearchBot και το GPTBot είναι ανεξάρτητες. Αντίστοιχα, το Anthropic ξεχωρίζει το Claude-SearchBot από το ClaudeBot. Αυτό επιτρέπει σε μία επιχείρηση να αποφασίσει διαφορετικά για search visibility και model training.

Το e-shop πρέπει να καταγράψει αυτές τις αποφάσεις ως governance policy και να μην αφήνει το robots.txt να διαμορφώνεται τυχαία από plugins, CDN defaults ή παλιές ρυθμίσεις.

Τα robots.txt directives δεν εφαρμόζονται με τον ίδιο τρόπο παντού

Το Robots Exclusion Protocol έχει standardised βασικούς κανόνες, αλλά πρόσθετα directives δεν έχουν καθολική υποστήριξη. Το crawl-delay, για παράδειγμα, δεν αποτελεί τμήμα του RFC 9309 και δεν υποστηρίζεται ομοιόμορφα από όλους τους providers. Το Anthropic δηλώνει επίσημα ότι το υποστηρίζει για τα δικά του bots.

Τα user-triggered fetchers αποτελούν επίσης ξεχωριστή περίπτωση. Το OpenAI αναφέρει ότι, επειδή τα requests του ChatGPT-User ξεκινούν από χρήστη, τα robots.txt rules ενδέχεται να μην εφαρμόζονται. Το Perplexity αναφέρει ότι το Perplexity-User γενικά αγνοεί το robots.txt επειδή το fetch προκαλεί ο χρήστης.

Όταν το robots.txt επιτρέπει τον crawler αλλά το WAF ή το CDN τον μπλοκάρει

Το robots.txt εκφράζει crawling policy. Το network layer αποφασίζει αν το request θα φτάσει πραγματικά στο content. Αυτά τα δύο επίπεδα δεν πρέπει να συγχέονται.

Ένα e-shop μπορεί να έχει:

User-agent: OAI-SearchBot → Allow: /

και παρ’ όλα αυτά το WAF να επιστρέφει 403.

WAF, CDN, firewall και bot management rules

Τα security layers μπορούν να αποκλείσουν legitimate crawlers μέσω:

• 403 blocks,
• rate limiting,
• JavaScript challenges,
• CAPTCHA challenges,
• country rules,
• IP reputation rules,
• generic bot blocking,
• custom firewall rules.

Το Cloudflare τεκμηριώνει ότι το AI Crawl Control λειτουργεί μαζί με το WAF και ότι upstream custom WAF rules μπορούν να εξακολουθήσουν να μπλοκάρουν έναν AI crawler ακόμη και όταν ο crawler έχει ρυθμιστεί ως allowed στο AI Crawl Control.

Αυτό έχει ιδιαίτερη σημασία μετά από migration σε νέο CDN, ενεργοποίηση «Bot Fight» λειτουργιών, αυστηρότερο security profile ή αλλαγή firewall provider.

Τι πρέπει να ελέγχει ένα agency μετά από αλλαγές σε security ή CDN settings

• Αν οι Google crawlers εξακολουθούν να λαμβάνουν τα αναμενόμενα responses.
• Αν τα AI search bots που η επιχείρηση θέλει να επιτρέπει μπορούν να προσπελάσουν product και category URLs.
• Αν τα static resources, images και JavaScript files φορτώνουν χωρίς challenge.
• Αν εμφανίζονται νέα 403 ή 429 στα logs.
• Αν τα generic security rules υπερισχύουν των crawler-specific allow rules.
• Αν τα allowlists βασίζονται σε ενημερωμένα επίσημα verification sources.

Πώς επιβεβαιώνουμε ότι ένας crawler είναι πραγματικός

Το User-Agent είναι self-reported HTTP header και μπορεί να γίνει spoofing. Ένα malicious bot μπορεί να δηλώσει ότι είναι Googlebot, OAI-SearchBot ή άλλο γνωστό crawler.

IP ranges, reverse DNS και επίσημες μέθοδοι verification

Η Google προτείνει reverse DNS ή αντιστοίχιση με τα δημοσιευμένα Google IP ranges. Το OpenAI δημοσιεύει JSON endpoints με IP ranges για τα βασικά bots του. Το Perplexity επίσης δημοσιεύει current IP lists και συστήνει συνδυασμό User-Agent και IP verification για WAF rules.

Το e-shop δεν πρέπει να αντιγράψει ένα static IP list μέσα σε documentation και να το αφήσει για χρόνια. Οι providers μπορούν να αλλάξουν ranges. Η σωστή προσέγγιση είναι να χρησιμοποιεί τις επίσημες live πηγές και, όπου χρειάζεται, αυτοματοποιημένη ενημέρωση των allowlists.

Web Bot Auth ως emerging προσέγγιση

Τον Μάιο του 2026, η Google δημοσίευσε experimental guidance για το Web Bot Auth, ένα IETF draft protocol που χρησιμοποιεί cryptographic signatures ώστε ένα website να μπορεί να επαληθεύσει την ταυτότητα ενός bot χωρίς να βασίζεται μόνο σε User-Agent και IP address.

Η Google δοκιμάζει το protocol με ορισμένους AI agents που φιλοξενούνται στο δικό της infrastructure και αναφέρει ρητά ότι το implementation παραμένει experimental. Δεν υπογράφονται όλα τα requests και η Google συστήνει να συνεχίσει η χρήση των καθιερωμένων verification methods παράλληλα.

Για αυτό, το Web Bot Auth αποτελεί σημαντική εξέλιξη που αξίζει να παρακολουθούν τα agencies, αλλά δεν αποτελεί σήμερα προϋπόθεση του Agentic Commerce SEO ούτε requirement για κάθε e-shop.

Server logs και bot logs: τι συμβαίνει πραγματικά στο crawling του e-shop

Το robots.txt δείχνει τι θέλει να επιτρέψει η επιχείρηση. Τα server logs δείχνουν τι συνέβη πραγματικά. Για αυτό αποτελούν ένα από τα πιο χρήσιμα diagnostic layers στο crawlability.

Η ανάλυση δεν χρειάζεται να μετατραπεί σε γενικό analytics project. Στο συγκεκριμένο scope, τα logs πρέπει να απαντούν αν οι crawlers έφτασαν στα product URLs και τι response έλαβαν.

Ποιοι crawlers επισκέπτονται το e-shop

Το πρώτο βήμα είναι να εντοπίσετε requests που δηλώνουν γνωστά search ή AI user agents και να επαληθεύσετε όσα έχουν επιχειρησιακή σημασία.

Τα logs μπορούν να δείξουν:

• ποιο bot έκανε το request,
• ποιο IP address χρησιμοποίησε,
• ποιο hostname ή path ζήτησε,
• πότε έκανε το request,
• ποιο HTTP status έλαβε,
• πόσα bytes επέστρεψε ο server,
• πόσο συχνά επανέρχεται στο ίδιο URL.

Ποια product και category URLs έχουν προσπελάσει οι crawlers — και ποια όχι

Το agency μπορεί να συγκρίνει το active catalog με τα crawler logs. Αν ένα σημαντικό category section περιέχει 5.000 ενεργά products αλλά τα logs δείχνουν requests μόνο σε ένα μικρό τμήμα, πρέπει να ελεγχθεί το discovery architecture, το pagination και τα filters.

Αντίστοιχα, το έντονο crawler activity σε χιλιάδες sorting και parameter URLs μπορεί να δείχνει ότι το faceted navigation καταναλώνει δυσανάλογο crawling.

Status codes, loops και WAF blocks μέσα από τα logs

Τα logs μπορούν να αποκαλύψουν patterns που δεν φαίνονται στον browser ενός administrator:

• επαναλαμβανόμενα 403 σε search bots,
• μαζικά 404 από παλιά product URLs,
• 429 από υπερβολικά αυστηρό rate limiting,
• 5xx σε συγκεκριμένα templates,
• redirect loops,
• υπερβολικά crawling parameter combinations.

Το συγκεκριμένο log analysis αφορά crawler diagnostics. Η μέτρηση referral traffic, conversions και visits από ChatGPT, Perplexity ή άλλα AI environments ανήκει στο ξεχωριστό scope του AI Traffic Measurement και δεν πρέπει να συγχέεται με το crawlability.

Crawl budget σε μεγάλα e-shops: πότε γίνεται πραγματικό πρόβλημα

Το crawl budget δεν αποτελεί βασικό concern για κάθε e-shop. Η Google απευθύνει το σχετικό guidance κυρίως σε πολύ μεγάλα ή πολύ συχνά μεταβαλλόμενα sites. Ένα μικρό catalog που η Google ανιχνεύει αποτελεσματικά δεν χρειάζεται να αντιμετωπίζει το crawl budget σαν ξεχωριστό optimization project.

Το θέμα αποκτά μεγαλύτερη σημασία όταν το site διαθέτει:

• πολύ μεγάλο product catalog,
• συχνές αλλαγές inventory,
• τεράστιο αριθμό faceted URLs,
• πολλά duplicate URLs,
• πολλά redirects ή errors,
• URL structures που μπορούν να δημιουργούν σχεδόν απεριόριστο αριθμό URLs, όπως ημερολόγια, φίλτρα και parameter combinations,
• server capacity που περιορίζει το αποτελεσματικό crawling activity.

Τι έχει μεγαλύτερη σημασία από το «να αυξήσουμε το crawl budget»

Το agency πρέπει πρώτα να μειώσει το άχρηστο crawl space. Αν ένα catalog με 50.000 πραγματικά products δημιουργεί εκατομμύρια URLs μέσω filters, sorting και parameters, το βασικό πρόβλημα δεν είναι ότι «η Google χρειάζεται περισσότερο crawl budget». Το πρόβλημα είναι ότι το site προσφέρει πάρα πολλούς χαμηλής αξίας crawl paths.

Η σωστή κατεύθυνση περιλαμβάνει:

• καθαρό internal linking,
• έλεγχο faceted navigation,
• περιορισμό duplicate URLs,
• σωστά HTTP responses,
• ενημερωμένα sitemaps,
• γρήγορο και σταθερό server response,
• παρακολούθηση των logs.

Δεν πρέπει να χρησιμοποιούμε τον όρο «AI crawl budget» σαν να αποτελεί ενιαίο, επίσημα τεκμηριωμένο metric για όλα τα AI systems. Κάθε provider μπορεί να χρησιμοποιεί διαφορετικό crawling ή retrieval architecture.

Από τους crawlers στους browser-based AI agents

Το Agentic Commerce δεν περιορίζεται στο crawling. Ορισμένοι AI agents μπορούν να χρησιμοποιούν πραγματικό browser environment και να προσπαθούν να εκτελέσουν tasks μέσα σε μία ιστοσελίδα.

Η Google έχει επίσης τεκμηριώσει τον Google-Agent ως user-triggered agent που μπορεί να πλοηγείται στο web και να εκτελεί actions κατόπιν αιτήματος χρήστη. Αυτή η κατηγορία λειτουργίας δεν πρέπει να συγχέεται με το traditional indexing crawler.

Crawler discoverability και browser-agent operability είναι διαφορετικά

Ένας browser-based agent μπορεί να αξιοποιήσει διαφορετικά representations μιας σελίδας, όπως:

• rendered screenshots,
• raw HTML,
• DOM structure,
• accessibility tree,
• semantic links και buttons.

Η διάκριση έχει σημασία για το μέλλον του e-commerce, αλλά δεν μετατρέπει το crawlability article σε accessibility ή checkout guide. Η ασφαλής εκτέλεση εμπορικών ενεργειών ανήκει περισσότερο στο Checkout Readiness και στα APIs και Commerce Protocols για Agentic Commerce.

Πρακτικός έλεγχος crawlability για ένα e-shop που θέλει να είναι προσβάσιμο σε search και AI systems

Ο παρακάτω έλεγχος δεν αντικαθιστά ένα πλήρες Agentic Commerce Readiness Audit. Εστιάζει αποκλειστικά στο τεχνικό discoverability και access των εμπορικών URLs.

Μπορούν να ανακαλυφθούν όλα τα σημαντικά προϊόντα;

• Υπάρχει crawlable διαδρομή menu → category → subcategory → product;
• Χρησιμοποιούν τα σημαντικά links πραγματικό href;
• Υπάρχουν orphan product pages;
• Υπάρχουν προϊόντα διαθέσιμα μόνο μέσω internal search;
• Μπορεί ο crawler να περάσει από όλα τα paginated product sets;
• Το Load More ή το infinite scroll διαθέτει crawlable URL structure;
• Το XML sitemap περιλαμβάνει τα σωστά canonical product/category URLs;

Δημιουργούνται άχρηστα ή απεριόριστα crawl paths;

• Πόσα URLs δημιουργούν τα filters;
• Δημιουργούν διαφορετικά URLs τα sorting options;
• Μπορεί η σειρά των parameters να δημιουργήσει duplicates;
• Υπάρχουν empty filter combinations;
• Υπάρχουν nonsensical combinations;
• Διατηρούνται tracking parameters στα internal links;
• Υπάρχουν session identifiers σε crawlable URLs;
• Καταναλώνουν τα faceted URLs δυσανάλογο μέρος του crawler activity στα logs;

Μπορούν οι επιθυμητοί crawlers να αποκτήσουν πραγματική πρόσβαση;

• Το robots.txt εκφράζει το σημερινό crawler policy της επιχείρησης;
• Υπάρχουν ξεχωριστές αποφάσεις για search και training bots όπου χρειάζεται;
• Το WAF επιτρέπει τα bots που η επιχείρηση θέλει να επιτρέπει;
• Το CDN επιστρέφει τα product images και τα κρίσιμα resources;
• Υπάρχουν CAPTCHA ή JavaScript challenges σε automated requests;
• Υπάρχουν συχνά 403, 429 ή 5xx;
• Το JavaScript-dependent content παραμένει προσβάσιμο χωρίς υποχρεωτικό user interaction;

Γνωρίζουμε τι πραγματικά έχουν προσπελάσει οι crawlers στο e-shop;

• Καταγράφονται server ή CDN logs;
• Επαληθεύεται η ταυτότητα των σημαντικών bots;
• Ελέγχονται τα product και category paths που ζητούν;
• Ελέγχονται τα status codes ανά crawler;
• Εντοπίζονται redirect loops και chains;
• Εντοπίζεται excessive crawling σε parameter URLs;
• Υπάρχουν σημαντικά product areas που απουσιάζουν από τα logs;

Crawlability ως βάση του Agentic Commerce SEO — όχι ως υποκατάστατο των commerce data

Το crawlability απαντά στο πρώτο ερώτημα: μπορεί το system να φτάσει στο προϊόν; Δεν απαντά από μόνο του στα επόμενα ερωτήματα: ποιο ακριβώς είναι το προϊόν, πόσο κοστίζει, αν είναι διαθέσιμο, ποιο variant αφορά, πώς αποστέλλεται ή αν μπορεί ένας agent να προχωρήσει σε εμπορική ενέργεια.

Για αυτό, ένα crawlable e-shop χρειάζεται και τα υπόλοιπα layers του Agentic Commerce SEO:

• Product Data Quality για καθαρή ταυτότητα, attributes και identifiers.
• Structured Data για E-shop ώστε η σελίδα να εκφράζει machine-readable commerce entities.
• Product Feeds για Agentic Commerce SEO για τη διανομή των catalog data στα εξωτερικά systems.
• Product Variants για Agentic Commerce SEO για σωστή parent/child λογική, variant URLs και variant-level data.
• Shipping και Returns για συνεπείς εμπορικούς όρους.
• APIs και Commerce Protocols όταν το system πρέπει να περάσει από την πληροφορία στην εκτέλεση ενέργειας.

Το crawlability, επομένως, δεν αντικαθιστά τα commerce data. Τα καθιστά προσβάσιμα. Ένα τέλεια οργανωμένο product feed δεν διορθώνει ένα product page που μπλοκάρεται από το WAF. Αντίστοιχα, ένα crawlable URL δεν βοηθά αρκετά όταν περιγράφει λάθος variant ή εμφανίζει παρωχημένη διαθεσιμότητα.

Η σωστή τεχνική υποδομή συνδέει όλα τα layers: discovery, access, product identity, machine-readable data, distribution και action. Αυτή η σύνδεση επιτρέπει σε ένα e-shop να παραμένει προσβάσιμο τόσο στα παραδοσιακά search systems όσο και στο εξελισσόμενο οικοσύστημα των AI search και Agentic Commerce εμπειριών.

Συχνές ερωτήσεις για το crawlability σε e-shops και AI agents

Χρειάζεται διαφορετικό robots.txt για AI crawlers;

Δεν χρειάζεται ξεχωριστό αρχείο robots.txt, αλλά μπορεί να χρειάζεται διαφορετικό policy ανά user agent. Providers όπως το OpenAI και το Anthropic χρησιμοποιούν διαφορετικά bots για search, training και user-triggered access, επομένως το e-shop μπορεί να εφαρμόζει διαφορετικά directives ανά bot ανάλογα με την πολιτική του.

Πρέπει ένα e-shop να επιτρέπει το GPTBot για να εμφανίζεται στο ChatGPT Search;

Όχι. Το OpenAI χρησιμοποιεί το OAI-SearchBot για τις search λειτουργίες του ChatGPT, ενώ το GPTBot αφορά content που μπορεί να χρησιμοποιηθεί για training των generative AI foundation models. Οι δύο ρυθμίσεις είναι ανεξάρτητες.

Μπορεί ένα XML sitemap να αντικαταστήσει τα internal links;

Όχι. Το XML sitemap βοηθά τα search engines να ανακαλύπτουν URLs, αλλά δεν αντικαθιστά ένα crawlable site architecture. Τα σημαντικά προϊόντα και οι κατηγορίες πρέπει να συνδέονται και μέσω πραγματικών internal links.

Μπορούν οι AI crawlers να δουν προϊόντα που φορτώνουν μόνο με JavaScript;

Δεν πρέπει να το θεωρούμε δεδομένο για όλους τους AI crawlers. Η Google τεκμηριώνει JavaScript rendering για το Googlebot, αλλά δεν υπάρχει αντίστοιχη επίσημη τεκμηρίωση που να επιβεβαιώνει ότι κάθε AI search crawler διαθέτει ισοδύναμο rendering pipeline. Για αυτό, το κρίσιμο product discovery δεν πρέπει να βασίζεται αποκλειστικά σε JavaScript interaction.

Τι συμβαίνει όταν το robots.txt επιτρέπει ένα bot αλλά το WAF το μπλοκάρει;

Το bot δεν αποκτά πραγματική πρόσβαση στο content. Το robots.txt εκφράζει crawling directives, ενώ το WAF, το CDN και το firewall ελέγχουν αν το HTTP request θα περάσει. Το e-shop πρέπει να ελέγχει και τα δύο επίπεδα.

Πώς ελέγχουμε αν ένας AI crawler είναι πραγματικός;

Δεν αρκεί το User-Agent, επειδή μπορεί να γίνει spoofing. Το e-shop πρέπει να χρησιμοποιεί τα επίσημα verification methods του provider, όπως δημοσιευμένα IP ranges, reverse DNS όπου υποστηρίζεται ή άλλες documented μεθόδους authentication.

Πότε αποτελεί πρόβλημα το crawl budget σε ένα e-shop;

Το crawl budget αφορά κυρίως πολύ μεγάλα ή πολύ συχνά μεταβαλλόμενα sites. Σε μεγάλα e-shops, faceted URLs, duplicates, errors και χαμηλής αξίας crawl paths μπορούν να καταναλώνουν crawling που θα μπορούσε να χρησιμοποιηθεί για σημαντικά ή νέα product URLs.

Μπορούν τα προϊόντα που εμφανίζονται μόνο με Load More να παραμείνουν μη discoverable;

Ναι, αν το implementation δεν παρέχει crawlable URLs και links προς τα επόμενα product sets. Το Load More μπορεί να παραμείνει μέρος του UX, αλλά το e-shop πρέπει να διαθέτει crawlable pagination ή άλλη URL-based διαδρομή προς τα προϊόντα.

Πηγές

• Google’s Guide to Optimizing for Generative AI Features on Google Search
• AI Features and Your Website | Google Search Central
• Help Google understand your ecommerce website structure
• Pagination, incremental page loading, and their impact on Google Search
• Managing crawling of faceted navigation URLs
• Understand JavaScript SEO Basics | Google Search Central
• Introduction to robots.txt | Google Search Central
• Build and submit a sitemap | Google Search Central
• How HTTP status codes affect Google’s crawlers
• Troubleshoot Google Search Crawling Errors
• Optimize your crawl budget
• Verify Requests from Google Crawlers and Fetchers
• Authenticate requests with Web Bot Auth (experimental)
• Google User-Triggered Fetchers
• RFC 9309: Robots Exclusion Protocol
• Overview of OpenAI Crawlers
• Does Anthropic crawl data from the web, and how can site owners block the crawler?
• Perplexity Crawlers
• AI Crawl Control
• AI Crawl Control with Cloudflare WAF
• Analyze AI traffic
• Build agent-friendly websites