En stor leverantör visar omedvetet upp testmiljöer och kopior av kända svenska varumärken och myndigheters webbplatser för omvärlden och Google. Detta är såklart inte bra av flera anledningar men i det här inlägget bjuder jag på lösningen på hur de kan komma till rätta med problemet.
Som sökmotorkonsult tillbringar jag en stor del av min tid på webben. Jag granskar webbsidor utifrån och in – strukturer, innehåll, kod och länkprofiler. Yrkesskadad som jag är hittar jag ibland lite udda saker som väcker mitt intresse. Förra veckan när jag tittade närmare på en kunds inkommande länkar fann jag en länk från en subdomän på episerverhosting.com. Jag gjorde en sajtsökning, det vill säga googlade site:episerverhosting.com, för att se vad som fanns där. Det jag hittade var testmiljöer, men även skarpa kopior av webbsidor som Riksbanken, SEB, MIO och många fler.
Att visa upp sin testmiljö eller ha sin webbsida kopierad så att Google kan komma åt den på andra urlar kan vara skadligt av flera anledningar. Innehållet blir duplicerat vilket leder till oönskad konkurrens om vilken sida som ska visas i sökresultatet och vilken som är ägaren av innehållet. Duplicerat innehåll kan leda till att du rankar sämre i sökresultatet, men jag tror inte att det ska vara ett problem i det här fallet. Det stora problemet här är att man omedvetet visar upp saker för kunder, konkurrenter och övriga världen. Man kanske är på gång att lansera nya tjänster eller produkter som ska vara hemliga, men som alla kan komma åt och man vet förmodligen inte ens om det.
Lösningen
Vad ska då Riksbanken, SEB, MIO och alla de andra göra förutom att ta ett allvarligt snack med leverantören bakom episerverhosting.com? Det beror lite på vad de visar upp och om det kan vara känsligt på något sätt men jag skulle rekommendera att man pekar subdomänerna med en permanent redirect 301 till huvuddomänen för sina respektive webbsidor. Eftersom de troligen har samma url-struktur så krävs det bara en ompekning för att alla sidorna ska peka rätt. En ompekning är bra för att den gör dels att besökaren i framtiden hamnar rätt men den är även ett av de snabbaste sätten att få bort oönskade sidor ur Googles index. Riksbanken har försökt lösa problemet med att blockera Google i robots.txt. Detta hjälper dock inte nu eftersom sidan redan har indexerats så det enda man gör är att hindra Googles spindel från att komma åt innehållet igen, det kommer tyvärr inte att avindexera kopian. När man sedan sätter upp en ny testmiljö är det bästa att blockera Google och andra helt genom till exempel login.
Jag skulle önska att alla läste inlägget om hur man stänger ute Google från sin testmiljö så slipper vi se sådana här saker i framtiden.
Sidan är senast uppdaterad 2014-03-19
Kanske säger emot mig själv nu men jag skulle nog döda supdomänen snarare än att köra 301. Är det stora sajter blir det hiskeligt många 301:or (länkar) och de kommer dessutom från en annan domän. Jag tror det funkar i 8 fall av 10, men att det går illa för 2 är illa nog.
Håkan,
Självklart får man väga in arbetet med att göra 301:orna men som jag såg det så hade sajterna samma url-struktur och då är det relativt enkelt att skriva en 301 som tar hand om allt.
Hej Viktor,
Jag skulle bara vilja uppmärksamma dig på att ett fel i din artikel. Sidan mio.episerverhosting.com är inte en ”skarp kopia” av mio.se – det är vår produktionsmiljö.
Om man tittar på våra DNS-records så ser man att mio.se pekar på 217.114.90.125 (mio.episerverhosting.com):
mio.se A 217.114.90.125 600s
Utan att ha undersökt saken närmre så tror jag ev. samma sak gäller för Riksbankens hemsida.
/Jonas
Hej Jonas,
vad det är spelar egentligen ingen roll. Problemet är att Google hittar och indexerar, https://www.google.se/#q=site:mio.episerverhosting.com. Om du vill ha en öppen produktionsmiljö så skulle i alla fall jag stänga ute Google och andra sökmotorer.
Det här är vanligare än vad man tror och som du skriver är det en sämre lösning för alla varumärken som du har nämnt i din artikel. Det blir galet många 301 om det är stora sajter som tar lite tid att fixa, men föredrar nog det om de har samma struktur i detta fall.