Ett väldigt vanligt problem som vi stöter på ofta i vårt arbete är att sajters testmiljöer blir indexerade av sökmotorer. Det stora problemet med detta är duplicerat innehåll (duplicate content). Helt plötsligt finns det två (ofta helt identiska) kopior av samma sajt. Duplicerat innehåll ogillas mer och mer av sökmotorer och det är inte sällan man blir straffad för det.

Det blir både problem om testmiljön ligger på ens egen domän (ofta som en subdomän) t ex:

test.sajt123.se

eller om testmiljön ligger på en annan domän (ofta hos ens leverantör) t ex:

sajt123.webbyggarna123.se

I det senare fallet blir problemet extra stort om ens leverantör har en stark domän i sökmotorernas ögon och man själv har en helt ny domän. I så fall kan Google i värsta fall välja att indexera testmiljön hos din leverantör istället för din egen domän, vilket inte är en så kul start på din internetsatsning.

Hur stänger man ut Google och andra sökmotorer från ens testmiljö?

1. Robots.txt

Robots.txt är en enkel textfil som man lägger i roten på sin domän. Denna filen används bara av sökmotorer och i denna fil kan man ange att visa delar av ens sajt inte ska indexeras, t ex kan du säga till sökmotorerna att inte indexera test.sajt123.se

Teoretisk låter detta som en perfekt lösning. Tyvärr har vi dock i praktikten sett flertal exempel på att testmiljöer blir indexerad trots en korrekt Robots.txt fil

2. No index

Det går även att sätta No index på alla ens webbsidor i testmiljön. Detta ger samma effekt som en Robots.txt, det vill säga att du säger till sökmotorerna att inte indexera sidorna.

Tyvärr har denna lösning samma brist som Robots.txt, det vill säga att det inte är säkert att det kommer fungera även om man gjort helt rätt.

3. Inloggningsskydd

Det absolut säkraste sättet att stänga ute Google från din testmiljö och den metod som vi absolut rekommenderar är att inloggningsskydda din testmiljö. Genom att kräva ett lösenord för att komma åt testmiljlön blir det tvärstopp för Google och andra sökmotorer. Detta är ofta en väldigt enkel lösning att implementera och som även har fördelen att inga konkurrenter kan komma in och snoka i din testmiljö.

Ett alternativ till att kräva just lösenord är att endast ge vissa utvalda IP åtkomst åt testmiljön. Det ger samma önskad effekt.

Vad gör man om man fått sin testmiljö indexerad?

Om ”olyckan” varit framme och din testmiljö blivit indexerad så är det bästa att göra en 301 redirect från din testmiljö till den riktiga sajten. Detta innebär att man inte kan använda samma domän för testmiljön längre. Om man gör en 301 redirect från test.sajt123.se till sajt123.se så behöver man använda en ny subdomän för testmiljö framöver, t ex test2.sajt123.se.

Om man av någon anledning inte kan göra en 301 redirect är den näst bästa lösningen att göra någon av punkterna 1, 2 eller 3 ovan (vi rekommenderar som sagt punkt 3). Att inte göra en 301 redirect kommer innebära att det tar längre tid innan Google väljer att avindexera och bortse från testmiljön och det duplicerade innehåll som skapats.

Hur hittar Google testmiljön?

Om man på något sätt publikt länkar till sin testmiljö kan du vara säker på att Google hittar och indexerar din testmiljö. Men vi har även sett flera exempel på när en testmiljö blir indexerad utan några publika inlänkar, t ex kan det räcka om du skickar URL:en till testmiljön via Gmail för att Google ska snappa upp det och senare indexera det.

Liknande artiklar:

1. Page Speed Service – ny tjänst från Google Idag lanserade Google tjänsten Page Speed Service. En tjänst som...
2. Spridda bud från Google gällande varumärkesskydd Stina Honkamaa gick igår ut på ett seminarium med informationen...
3. Så snor du länkjuice från mig I förra bloggposten berättade jag att det nu är slut...