bu,
ich bin kein experte, aber soweit ich weiß funktioniert robots.txt nur solange sich die bots auch daran halten wollen.
Bei google mag das funktionieren (aber wer weiß, ob die nicht auch heimlich andere bots benutzen und so eine “schatten”indexierung haben, eine garantie gegen alle bots ist das aber auf keinen fall.

laiengrüße,
Faris