Google indekserer txt filer som ikke gir mening

[Christian]

Hei,
Google indekserer noen snåle txt filer på siden min.

Her ser dere et eksempel på hva jeg mener

Hvorfor ranker google dette og ikke selve artikkelen? Jeg har nå gjort noen endringer i robots.txt

User-agent: *
Disallow: /*.txt$

Vil dette gjøre susen, sånn at Google ikke rankerer de .txt filene? Jeg aner ikke engang hva de filene er for noe...
Og hvis noen klikker på den linken i Google får de bare en 404

 

[Kenneth Dreyer]

Er du 100% sikker paa at du ikke lenker til den URLen noe sted fra nettsiden din?

 

[Christian]

Nei nei..jeg har ikke peiling. Skal ikke være noe i utgangspunktet, men jeg har ikke helt peiling på sånn der, så jeg vet ikke.

Men uansett om det linkes, vil robots.txt fikse det sikt?

 

[Mr Vest]

Robots.txt vil fikse den biffen ja. Det første edderkoppene sjekker når dem kommer inn på ditt nettsted er denne filen, og mens den kryper rundt på nettstedet ditt, og og kommer over linker, blir alle disse linkene sjekket opp mot robots.txt før disse blir indeksert.