De robots.txt is een bestandje dat crawlers aangeeft welke delen van de website wel gecrawld mogen worden en welke niet. Op die manier geef je de crawlers instructies over hoe ze jouw website het meest effectief kunnen doorzoeken. Een robots.txt hebben en optimaliseren is erg belangrijk omdat Google hier waarde aan geeft.