Den här artikeln behöver källhänvisningar för att kunna verifieras. (2021-06) Åtgärda genom att lägga till pålitliga källor (gärna som fotnoter). Uppgifter utan källhänvisning kan ifrågasättas och tas bort utan att det behöver diskuteras på diskussionssidan.

Googlebot är en sökrobot som används av sökmotorn Google. Den hämtar dokument från Internet, främst World Wide Web, för att bygga upp en databas för Googles sökmotor. Googlebot finns i två olika versioner, Freshbot och Deepbot. Deepbot följer alla länkar den hittar och laddar ner så mycket den kan till Googles indexerare. En runda för Deepbot tar cirka en månad att slutföra. Freshbot far runt på Internet och letar efter nytt material. Den besöker enskilda webbsidor beroende på hur mycket de ändras. Den kan besöka en del webbplatser såsom utpräglade nyhetssajter upp till sju gånger om dagen. Alla Googles sökrobotar har värdmasken crawl-xxx-xxx-xxx-xxx.googlebot.com, där alla xxx representerar det IP-nummer sökroboten har.

Googlebot upptäcker webbsidor genom att skörda alla länkar på alla sidor den hittar. Sedan följer den länkarna vidare till andra sidor. Nya webbsidor måste vara länkade från en som redan är känd av Googlebot. Googlebot är ett problem för en del webbmasters som hyr webbutrymme och har en gräns på hur mycket trafik de får utnyttja. Många webbmasters har klagat på att Googlebot använder för mycket av deras bandbredd och att deras webbplatser temporärt tagits ned för att de har gått över bandbreddsgränsen. Detta är ett stort problem för alla webbspeglar (website mirrors) som ofta lagrar flera gigabyte data.

Om en webbmaster registrerar sin webbplats hos Google Webmaster Tools, får Googlebot en liten ledtråd om vilken sida den ska söka igenom. Man kan även konfigurera att boten ska begränsa sina genomsökningar av en viss webbsida/webbplats. Det kan göras genom att man registrerar ett Googlekonto.

Sedan maj 2019 använder Googlebot den senaste renderingsmotorn Chromium, som stöder funktioner i ECMAScript 6.^[1][2][3][4] Detta gör boten mer «framtidssäker» och garanterar att den inte kommer att vara beroende av en föråldrad renderingsmotor jämfört med webbläsarens möjligheter.

I den komplexa världen av webbsäkerhet och sökmotoroptimering finns få hot som är lika förrädiska och förödande som bedrägerier som utnyttjar Googlebot. Denna förfinade form av botmissbruk har förvandlats från ett obetydligt besvär till ett allvarligt cybersäkerhetsproblem som påverkar allt: från serverprestanda till placeringar i sökresultaten, datasäkerhet och skydd av intäkter.^[5]

Mediabot är en webskanner som Google använder för att analysera innehåll så att Google AdSense kan visa kontextrelevant reklam på webbsidan.^[6][7] Mediabot identifierar sig med user agent-strängen "Mediapartners-Google/2.1".

Till skillnad från andra crawlare följer inte Mediabot länkar för att upptäcka nya URL-adresser tillgängliga för genomsökning, utan besöker endast de URL-adresser som innehåller AdSense-koden. Om detta innehåll ligger bakom autentisering kan crawlarn ges inloggningsåtkomst så att den kan skanna skyddat innehåll.

InspectionTool är en crawler som används av söktestverktyg som Rich Result Test och URL inspection i Google Search Console.^[8] Förutom user agent och user agent-token imiterar den Googlebot.^[9]

Guiden för sökrobotar publicerades separat. Den beskriver i detalj fyra olika sökrobotagenter baserade på data från webbserverns katalogindex — en icke-Chrome och tre Chrome-sökrobotar.