Az úgynevezett robot olyan speciális programok gyűjtőneve, amelyek képesek az interneten fellelhető publikus, illetve a robots.txt és a robots metatag által engedélyezett tartalmak letöltésére, és ezek valamilyen formában való elemzésére, az adatok eltárolására.

A keresőrobotokat legtöbbször a különböző keresőoldalak használják arra, hogy a felkutatott és indexelt weboldalak linkjeit a saját oldalukon kereshetővé tegyék. Ilyen a valószínűleg legismertebb Googlebot is, ami a Google számára tölt le weboldalakat.

A tipikus felhasználáson kívül léteznek speciális alkalmazások is, karbantartásra, vagy más adatok összegyűjtésére használt robotok is.