In april publiceerde P3-group haar derde benchmarkrapport over de Nederlandse mobiele providers. T-Mobile werd voor de tweede achtereenvolgende keer gekozen tot beste provider van Nederland. Zo trots als een pauw slaan ze hun magenta veren uit. Maar hoe groot zijn de verschillen tussen mobiele providers werkelijk? En hoe gaan we om met de perceptie van gebruikers, die toch vaak afwijkt van rationele staatjes? Is het zinvol om over te stappen en waar moet je als bedrijf rekening mee houden?
Consultant Léon Ruigrok duikt dieper de testresultaten in.
Geloofwaardigheid
In een tijd dat nepnieuws de wereld regeert is het natuurlijk zaak om meerdere bronnen te checken. Vrijwel gelijktijdig met het rapport van P3, publiceerde ook Omnitele een vergelijkbaar stuk over de Nederlandse mobiele netwerkproviders. De resultaten wijken niet veel af van de P3-conclusies.
Methode
P3-group heeft het mobiele landschap van Nederland getest door middel van een zogenaamde ‘drivetest’. Een auto beladen met meetkoffers vol Samsung Galaxy S7 toestellen is door Nederland gereden over vooraf geselecteerde routes door steden, dorpen en over snelwegen. De providers die werden getest hadden vooraf instemming gegeven op de meetmethode. Tijdens de drivetest werden zowel spraak als dataprestaties gemeten.
Spraak
Voor spraak zijn drie prestatieindicatoren gemeten: Call Succes Rate, Speech Quality en Call Setup Time.
Call Success Rate (CSR)
Voor de bestendigheid van een mobiele verbinding wordt er gerekend met tweetal variabelen: in hoeverre wordt een gesprek juist opgezet (Call Setup Success Rate, CSSR), en in welke mate worden verbindingen verbroken tijdens een gesprek (Call Drop Rate, CDR). De Call Success Rate is een totaal van deze twee ratio’s: CSR = CSSR * (1-CDR)
Het spreekt voor zich dat de Call Success Rate de 100% behoort te naderen. Vaak wordt 99,6% als goed geaccepteerd.
Speech Quality
Spraakkwaliteit wordt gemeten volgens een zogeheten ‘Mean Opinion Score’ (MOS). Dit is een vijf-puntschaal waarbij 5 gelijk staat aan een echt face-to-face gesprek. De spraakkwaliteit is direct afhankelijk van de kwaliteit van de verbinding en ook van de gebruikte codec (de wijze waarop geluid wordt omgezet naar een digitaal signaal) Bij mobiele telefonie beschouwen we MOS 3.6 als een voldoende.
Call Setup Time
De Call Setup Time wordt gemeten in seconden en tienden van seconden. Vreemd genoeg kent de Call Setup Time geen richtgetal, al zal het helder zijn dat deze zo kort mogelijk zou moeten zijn voor een optimale gebruikerservaring.
Data
De dataprestatie is voor alle netwerken gemeten op de 4G-netwerken. De prestatie-indicatoren zijn uitgebreider dan die van spraak. De performance wordt gemeten naar de succesratio en snelheid van het laden van websites, up- en downloads en YouTube-video’s. Ik heb de samenvatting van de datameting vergeleken, omdat ze te gedetailleerd zijn om te beschrijven.
Resultaten benchmark Nederland
Spraak
De grootste afwijkingen in de testresultaten vinden we in de Speech Quality en Call Setup Time. Tele2 laat op 3G een lage MOS-score van 3.0 zien, omdat zij geen High Definition codecs toepast op het 3G-netwerk dat ze gebruiken van T-Mobile.
In de Call Setup Time scoort KPN het minst. Het opbouwen van een gesprek op 3G kost gemiddeld 6 seconden. Oorzaak hier is waarschijnlijk dat KPN verschillende onderliggende netwerken gebruikt voor 2G, 3G en 4G. In rust heeft het testtoestel verbinding met een 4G-antenne, zodra een oproep wordt geplaatst, moet het toestel ‘zoeken’ naar een 3G-antenne, die mogelijk op een andere mast staat. Dit in tegenstelling tot T-Mobile die op iedere mast 4G, 3G en 2G antennes heeft staan. De gemiddelde gespreksopbouw bij T-Mobile is 3,5 seconden.
Vodafone en Tele2 laten goed zien waar een 4G-netwerk toe in staat is. De prestatieindicatoren scoren bij VoLTE beduidend hoger.
Data
In de datatests gaan KPN en T-Mobile bijna gelijk op. T-Mobile laat wel bijna overal een hogere throughput zien in down- en upload bandbreedte. Is er een groot gat met Vodafone en Tele2? Neen, zeker niet, maar om dat verschil in het juiste perspectief te zien is het verstandig om meer vergelijkingsmateriaal te hebben.
Resultaten internationale benchmark
P3-group voert deze testen ook uit in andere landen. Het is interessant om te zien hoe de Nederlandse netwerkproviders scoren ten opzichte van enkele van hun Europese collega’s. De resultaten van de verschillende landentests kunnen niet één-op-één naast elkaar worden gelegd. In Duitsland, Oostenrijk en Zwitserland wordt namelijk ook gemeten in treinen. Het is dus eerlijk om alleen die resultaten te vergelijken die in ieder land gelijk zijn uitgevoerd.
Spraak
We kunnen op basis van de meetresultaten stellen dat de kwaliteit van alle Nederlandse netwerken qua spraak tot de top van deze vergelijking behoren. Dit is vooral te danken aan de hoogte van de Call Success Ratio’s.
We moeten het in Nederland wel doen met een iets lagere spraakkwaliteit. Het netwerk van Sunrise in Zwitserland presteert nog beter. Dat laat ons eigenlijk goed zien dat de goede Nederlandse prestaties niet ‘eenvoudig’ behaald zijn dankzij de vlakte van ons landschap. Integendeel: onze providers leveren topprestaties óndanks het vlakke landschap waar het vinden van antenne opstelpunten vaak een uitdaging is (geweest).
Data
De dataperformance van de Nederlandse netwerken is vrijwel gelijk aan de top van deze internationale selectie. T-Mobile, KPN, Vodafone én Tele2 scoren ruim hoger dan 550 punten. Geen enkel ander land heeft alle aanwezige netwerken met zulke hoge scores.
Moeten we nu in ieder offertetraject de allersnelste dataverbindingen uitvragen? Voor een buitendienstmedewerker wellicht niet, en voor IoT-achtige remote sensoren zeker niet. Maar áls we datzelfde netwerk willen gebruiken voor een zelfrijdende auto juist weer wel. Het hangt van de situatie af.
Perceptie van de gebruiker
Onafhankelijk onderzoek laat dus zien dat we in Nederland de allerbeste mobiele dekking hebben. Waarom horen we onze vrienden, buren of collega’s dan toch altijd klagen over ‘dat andere netwerk’? Eén van de meest voor de hand liggende oorzaken is dat we in Nederland gewend zijn om te klagen. Wij zien onze directheid niet als brutaal, maar als een goede eigenschap.
Zijn klachten in alle gevallen terecht? Als je naar de internationale vergelijking kijkt niet. Maar ieder mobiel netwerk heeft gebieden met iets minder dekking. En die gebieden verschillen per netwerk. Niet elke overstap wordt dus als succesvol ervaren door gebruikers.
Conclusie
Als conclusie kunnen we gerust stellen dat er een rangorde bestaat in de prestatie van de mobiele netwerken. T-Mobile is de beste. Maar dit betekent niét dat er een slecht mobiel netwerk in Nederland bestaat. Gebruikers zullen altijd dekkingsklachten ervaren, naar welke provider je ook overstapt. We worden steeds afhankelijker van een goede verbinding. Wil je als provider succesvol zijn? Luister naar de feedback van de klant. Wil je als organisatie overstappen naar een andere provider? Naar T-Mobile rennen is niet perse nodig.
Checklist overstap
Denk vooral aan hoe je om wilt gaan met abonnementstermijnen binnen de duur van de overeenkomst; welk soort abonnement past bij de organisatie; en hoe kun je binnen de overeenkomst gebruikmaken van prijsontwikkelingen in de markt:
- Houd de houdbaarheid van de huidige netwerken in de gaten. Het heeft niet veel zin om te bouwen op de excellente VoLTE-prestaties van een provider als je medewerkers niet over geschikte toestellen beschikken.
- Eis van je huidige provider een rapportage over de werkelijk gebruikte toestellen en de foutcijfers over een recente maand.
- Eis van je nieuwe provider een gelijke rapportage over de werkelijk gebruikte toestellen en de foutcijfers over de eerste maanden na migratie
- Controleer voorafgaand aan een migratie gebruikte toestellen in de gevraagde rapportage of CMDB. Wat is de houdbaarheid van de toestellen in het veld? In de regel presteren oudere toestellen minder dan nieuwe.
- Lever de rapportages aan de servicedesk en instrueer deze. Een gebruiker zal ervaren dat de migratie in controle is als zijn ervaring wordt erkend door de servicedesk.
- Zorg voor beschikbare antwoorden en oplossingen, zoals bijvoorbeeld vervangende toestellen;
- Haak de communicatieafdeling aan, communiceer helder, kort en bondig. De gebruiker heeft geen tijd voor lange emails uit een IT-organisatie;
- Zorg voor voldoende naslagwerk en regel een sociaal kanaal, zoals bijvoorbeeld Yammer en modereer deze. Gebruikers weten elkaar uitstekend te helpen.
- Zorg dat je voldoende inpandige dekking en capaciteit hebt. Maak een strategische keuze voor een antenne oplossing van de provider, van jezelf of van de gebouweigenaar. Indoor oplossingen zijn prijzig, en kunnen een vendor lock-in vormen bij toekomstige contract herzieningen.
- Kom je er niet uit? Denk dan ook aan de ervaring die wij met je kunnen delen. Wij helpen je graag.
Léon Ruigrok is consultant bij Nivo