Spis treści
Autor: Paweł Targosiński, CTO MITS
Boty AI zżerają już 51% całego ruchu internetowego. Dla właścicieli stron oznacza to wyższe koszty hostingu, większe zużycie bandwidth i wykorzystywanie ich treści do trenowania modeli bez zgody. W naszych projektach w MITS obserwujemy, że niektórzy klienci mają nawet 40% ruchu generowanego przez boty AI.
Boty AI zżerają już 51% całego ruchu internetowego. Dla właścicieli stron oznacza to wyższe koszty hostingu, większe zużycie bandwidth i wykorzystywanie ich treści do trenowania modeli bez zgody. W naszych projektach w MITS obserwujemy, że niektórzy klienci mają nawet 40% ruchu generowanego przez boty AI.
Skala problemu w liczbach
Dane z raportu Imperva Bad Bot Report 2025 pokazują dramatyczny wzrost: po raz pierwszy w historii boty przewyższyły ruch ludzki. Złośliwe boty wzrosły z 32% do 37% w ciągu roku, przy czym trzy firmy kontrolują 95% ruchu botów AI: Meta (52% całego crawlingu AI), Google (23%) i OpenAI (20%). Fastly donosi, że niektóre boty AI wykonują ponad 39 000 zapytań na minutę do pojedynczej witryny - obciążenie porównywalne do ataków DDoS.
Cloudflare Radar potwierdza, że prawie 80% crawlingu AI służy trenowaniu modeli, a ChatGPT-User bot sam generuje prawie 75% całego ruchu w tej kategorii. To oznacza, że większość botów nie przynosi żadnych korzyści właścicielom stron - tylko pobiera treści do wykorzystania komercyjnego.
Typy botów AI i ich wpływ na biznes
Rozróżniamy dwa główne typy botów AI. Boty trenujące (GPTBot, ClaudeBot, Google-Extended, Bytespider) systematycznie przeglądają internet, pobierając ogromne ilości treści do wykorzystania w przyszłych modelach AI. Boty fetchujące (ChatGPT-User, Meta-ExternalFetcher) działają na żądanie, gdy użytkownik AI pyta o aktualne informacje.
Konsekwencje dla właścicieli stron są wieloaspektowe: zwiększone koszty bandwidth i hostingu, wykorzystanie treści bez zgody i potencjalne spowolnienie strony dla prawdziwych użytkowników. W przypadku niektórych naszych klientów ruch AI stanowił nawet 40% całkowitego traffic'u, co przełożyło się na 25% wyższe rachunki za hosting.
Najskuteczniejsze rozwiązanie: Cloudflare
Funkcja Cloudflare "AI Scrapers and Crawlers" to obecnie najefektywniejsza metoda ochrony. Włączenie wymaga zaledwie czterech kroków: zaloguj się do panelu Cloudflare, przejdź do Security → Bots, znajdź sekcję "AI Scrapers and Crawlers" i włącz przełącznik.
Funkcja blokuje główne boty trenujące (GPTBot, ClaudeBot, Google-Extended, Bytespider, CCBot), ale pozwala na fetcher boty odpowiadające na zapytania użytkowników. To oznacza, że ChatGPT nadal może polecać twoją stronę użytkownikom, ale nie będzie trenować na twoich treściach. Blokowanie nie wpływa na SEO - Googlebot działa normalnie, a Google oficjalnie potwierdza brak wpływu na AI Overview.
Alternatywne metody i ich ograniczenia
Metoda robots.txt polega na dodaniu odpowiednich dyrektyw (User-agent: GPTBot, Disallow: /), ale to jedynie "prośba" - niektóre boty ją ignorują. Perplexity AI zostało przyłapane na ignorowaniu robots.txt na witrynie Forbes. Blokowanie na poziomie serwera przez konfigurację firewall'a lub serwera www wymaga większej wiedzy technicznej i regularnych aktualizacji listy botów, ale daje pełną kontrolę.
Rezultaty wdrożeń w MITS
Wdrożyliśmy blokadę AI botów u kilku klientów z następującymi rezultatami: średnia redukcja ruchu botów o 60-70%, poprawa wydajności serwera szczególnie w godzinach szczytu, niższe rachunki za hosting (jeden klient zaoszczędził 25% kosztów bandwidth) i brak wpływu na pozycje w Google.
Kiedy warto blokować
Zdecydowanie warto, jeśli płacisz za bandwidth według zużycia, masz wartościowe unikalne treści, serwer ma ograniczone zasoby lub zależy ci na kontroli nad wykorzystaniem treści. Może nie warto, jeśli chcesz maksymalnej widoczności w AI, masz nieograniczony hosting, treści są głównie informacyjne/promocyjne lub liczysz na ruch z AI-powered search.
Walka między właścicielami treści a firmami AI dopiero się zaczyna. Reddit pobiera 60 mln dolarów rocznie od Google za dostęp do treści, a New York Times sądzi się z OpenAI o wykorzystywanie artykułów. Oczekuję, że w 2025 roku zobaczymy więcej platform wprowadzających płatny dostęp do treści dla AI, nowe standardy etycznego crawlowania i lepsze narzędzia do kontroli wykorzystania treści.
Blokowanie botów AI to obrona praw właścicieli treści, nie wojna z technologią. Funkcja Cloudflare daje prosty sposób na kontrolę wykorzystania naszych treści - jeden przełącznik, brak wpływu na SEO, natychmiastowe rezultaty.
