Quando o spyder faz a primeira indexação do site, o servidor envia um código de resposta 200 OK junto com um header Last-Modified e o conteúdo é transferido por completo. O spyder guarda este valor e em uma nova requisição o envia ao servidor em um header If-Modified-Since, estes valores são comparados e se o conteúdo não tiver sido modificado desde a última indexação, o servidor responde com um 304 Not Modified e nada é transferido.
Esse recurso permite que o servidor Web informe ao Google se houve alteração no conteúdo desde o último rastreamento do site.