Google ukida podršku za noindex robots.txt

6. jula 2019. 0 Comments

Google je zvanično najavio da Googlebot više neće poštovati direktivu robots.txt koja se odnosi na indeksiranje. 

Izdavači koji se oslanjaju na robots.txt noindek direktivu imaju rok do 1. septembra 2019. godine da ga uklone i počnu da koriste alternativu.

Razlog zašto noindex robots.txt direktiva neće biti podržana je zato što nije zvanična direktiva.

Google je u prošlosti podržao ovu direktivu… čak je i njihov zaključak u to vreme bio sledeći:

“Noindex direktiva u robots.txt-u je prilično efikasna i funkcionisala je u 11 od 12 slučajeva koje smo testirali. To bi moglo da funkcioniše za vaš sajt i zbog toga kako se implementira daje vam putanju da biste sprečili indeksiranje stranice i takođe je uklonili iz indeksa, što je veoma korisno u konceptu. Međutim, naši testovi nisu pokazali 100% uspeha, tako da ne funkcioniše uvek.”

Ali to više nije slučaj.

Na žalost noindex robots.txt direktiva više nije podržana.

Ovo je Googleov zvanični tweet:

„Danas se opraštamo od nedokumentovanih i nepodržanih pravila u datoteci robots.txt. Ako ste se oslanjali na ova pravila, naučite o svojim opcijama na našem blog postu.”

Ovo je relevantni deo najave:

“U interesu održavanja zdravog ekosistema i pripreme za potencijalna buduća izdanja otvorenog koda, poništavamo sav kod koji se bavi nepodržanim i neobjavljenim pravilima (kao što je noindex) 1. septembra 2019.”

Kako kontrolisati indeksiranje?

Googleov službeni post na blogu navodi pet načina za kontrolisanje indeksiranja:

  • Noindek u meta tagovima robota
  • 404 i 410 kodova statusa HTTP
  • Zaštita lozinkom
  • Disallow (onemogućavanje) u robots.txt
  • Alat za uklanjanje URL-a za konzolu za pretragu

Zvaničnu Google objavu možete pročitati ovde.