Web Crawler je počítačový program, ktorý automaticky prehľadáva dokumenty na weboch z celého internetu. Cieľom takéhoto programu, respektíve robota je zistiť, o čom je skoro každá webová stránka na internete, aby bolo možné získať o nej informácie, ak budú používatelia vyhľadávať niečo, čo sa danej stránky týka. Nazývajú sa aj prehľadávače alebo vyhľadávače webu, pretože prehľadávanie je technický výraz pre automatický prístup na webovú stránku a získavanie údajov prostredníctvom softvérového programu.
Indexové prehľadávače alebo vyhľadávače sú zvyčajne programované tak, aby navštevovali stránky, ktoré ich vlastníci odoslali ako nové alebo aktualizované. Pojem crawler pochádza z prvého vyhľadávacieho nástroja na internete, Web Crawler. Môžete ich nájsť aj ako „Bot“ alebo „Spider“. Najznámejším webovým vyhľadávačom je Googlebot.
