Google robot

A cikk írásakor 2020-ban Google robot alatt még nem egy humanoid robotot kell érteni, ami segít bepakolni a kocsiba a bevásárlásnál a csomagokat, hanem elsősorban a Google internetes kereső szolgáltatásához használt programra, egy úgynevezett crawlerre, illetve spiderre kell gondolni. A neve röviden Googlebot.

Mit csinál a Googlebot?

A Google keresőszolgáltatásának a lényege, hogy az interneten elérhető tartalmak közül ki lehessen válogatni azokat, amik a kereső embereket érdekli. Ahhoz pedig, hogy a kereső alkalmazás, hogy miből lehet válogatni, bizony időről időre végig kell nézni az internet valamennyi tartalmát. Minden weboldalt, minden blogbejegyzést, sőt, minden képet és minden videót is. Ezt a feladatot látja el a Google robotja. Meghatározott rendszerességgel végigjárja a weboldalakat és összegyűjti a rajtuk található szöveges és egyéb tartalmakat és elküldi az adatfeldolgozó részlegnek, hogy azokat aztán rendszerezhessék és gyorsan fel tudják ajánlani a Google keresőt használóknak találatként.

Miért fontos foglalkozni a Googlebottal?

Az online tartalmak többsége csak akkor értékes, ha sokan olvassák el, sokan nézik meg őket. Ahhoz pedig, hogy sokan megtalálják, szükség van olyan felületekre, ahol a tartalomra mutató hivatkozások szem elé kerülnek. Nagyon népszerűek az online magazinok, hírportálok és a közösségi média is, de lehetőség van rá, hogy ezek nélkül is megtalálják az írásainkat, képeinket - és ezeken keresztül akár a szolgáltatásainkat és a termékeinket. Ehhez arra van szükség, hogy biztosítsuk a Google robotnak, hogy össze tudja gyűjteni az információt a weboldalunkról, amit aztán ajánlani tud a témában keresgélőknek. A sikerhez persze ez önmagában nem elég, fontos, hogy sok jó minőségű tartalmat publikáljunk. Ezeknek a problémáknak a megoldásával foglalkozik a keresőoptimalizálás (SEO).

Rövid technikai kitekintés

Számos esetben hasznos tudni, hogy a weboldalt éppen egy ember, vagy egy robot szeretné megtekinteni, például a webes analitikai szoftverek azt szeretnék kideríteni, hogy a weboldalak forgalma honnan származik, illetve a látogatók hogyan viselkednek a weboldalon. Nyilvánvaló, hogy szükség van a robotok és az emberek megkülönböztetésére, hiszen a robotok például sokkal gyorsabban "olvassák el" a bejegyzéseket, így az oldalon töltött idők átlagát nagy mértékben csökkentenék, félrevezetve a weboldal üzemeltetőit.

A Googlebot is a User Agent Stringet (https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/User-Agent) használja, hogy azonosítsa magát:

asztali számítógépekhez használt roboté:

• Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
• Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z‡ Safari/537.36
• Googlebot/2.1 (+http://www.google.com/bot.html)

mobil eszközökön megjelenő weboldalakhoz használt roboté:

• Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P)
• AppleWebKit/537.36 (KHTML, like Gecko)
• Chrome/W.X.Y.Z‡ Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

a képeket gyűjtő roboté: Googlebot-Image/1.0

a híreket gyűjtő roboté: Googlebot-News

a videókat gyűjtő roboté: Googlebot-Video/1.0

Bővebben itt lehet olvasni a Googlebotról: https://support.google.com/webmasters/answer/1061943?hl=hu