De statistieken liegen niet (meer).
Het schaamrood zit momenteel net zo vastgeplakt op de kaken van de National Highway Traffic Safety Administration (NHTSA) als jouw wijsvinger op je duim nadat je het schaalmodel van je favoriete auto in elkaar probeert te zetten met superlijm. Het Amerikaanse verkeersveiligheid orgaan kwam twee jaar geleden namelijk op de proppen met een studie die concludeerde dat Tesla’s Autosteer de kans op ongelukken met veertig procent zou verkleinen. Tesla en Musk waren uiteraard in hun nopjes met deze bevinding en verwezen er zelfs naar toen er wederom ophef ontstond over ‘zelfrijdende auto’s’ na de dood van Walter Huang in een Tesla. Nu blijkt echter dat de boude claim baseert op los zand. Bovendien heeft het er enigszins de schijn van dat de NHTSA Tesla heeft willen beschermen tegen slechte publiciteit rondom Autosteer.
De kern van het verhaal zit ‘m in de data die de NHTSA gebruikt heeft om tot conclusies te komen. Reeds bij het publiceren van de studie in februari 2017, viel het consultancy toko Quality Control Systems (QCS) op dat de NHTSA de datasets waarop het haar conclusies trok niet duidelijk benoemde laat staan deelde met het grote publiek. Geïntrigeerd door de materie, deed het daarop een beroep op de Amerikaanse variant van de Wet Openbaarheid van Bestuur, die in ‘Murica de Freedom of Information Act heet. Apart genoeg maakte de NHTSA bezwaar tegen het delen van de informatie, wat gebeurde op aandringen van Tesla. De data van de studie kwam namelijk van Tesla zelf en zou ‘gevoelige informatie’ betreffen.
Uiteindelijk kreeg QCS desalniettemin toch haar zin en kon het de datasets eens grondig onderzoeken. Inmiddels zijn de conclusies binnen en die zijn niet mals. Al snel bleek dat er grove fouten gemaakt waren in de statistische analyse. En dan bedoelen we fouten van het niveau waar zelfs de meest flegmatieke middelbare scholier zich voor zou schamen. De basis van het onderzoek vormde het feit dat Tesla al in 2014 begon met het uitleveren van auto’s met Autosteer, maar het systeem omwille van regelgeving pas in oktober 2015 activeerde. De simpele gedachte: vergelijk het aantal ongelukken van deze auto’s vóór de activatie met het aantal na de activatie. Via de black box in elke Tesla is zoiets makkelijk te achterhalen.
Toch was de verzamelde data onvolledig. Bij 29.051 van de 43.781 auto’s in de dataset was de kilometerstand voor de activatie van Autosteer niet geregistreerd. De NHTSA nam in dit geval het getal ‘0’ aan als het aantal gereden kilometers (voor activatie). Helaas registreerde het tegelijkertijd wel 18 crashes voor deze auto’s in de pre-Autosteer fase. Dat zijn dus achttien crashes per nul kilometer. Je kan je voorstellen wat dit doet met het eindresultaat. Dit is overigens slechts een van de fouten die QCS ontdekte in het NHTSA-onderzoek. Als je dieper in de materie wil duiken, kan je hier terecht voor hun bevindingen.
Goed, jammer dat de NHTSA broddelwerk geleverd heeft, maar het belangrijkere issue is natuurlijk, wat zegt dit nu over de veiligheid van Autosteer? QCS spiegelt ons een duister plaatje voor. Volgens hen had de juiste conclusie op basis van de data moeten zijn dat het systeem de kans op ongelukken niet met veertig procent verkleinde, maar juist met 59 procent verhoogde. Nou moeten we hierbij wel aantekenen dat Tesla inmiddels een aantal updates heeft doorgevoerd aan het systeem, dus hoe relevant die cijfers nu nog zijn valt te betwisten. Positief nieuws vormt het hele verhaal echter sowieso niet.
Sorry, maar als je 18 crashes per 0 km meeneemt, wordt de conclusie toch juist negatiever? En alsnog kwamen ze op een resultaat van 40% vermindering? Knap!
@firebird: paar simpele business rules in je onderzoek software kan dat toch voorkomen…?
@firebird: 18 crashes zonder dat het systeem actief was in 0 km. Het staat er gewoon hoor…
Deze crashes worden dus geturfd in de categorie ‘zonder Autosteer’ en vertekenen het beeld in het nadeel van die categorie. Lijkt me niet heel ingewikkeld.
@vaakbenjetebang: aha het gaat inderdaad over de categorie vóór autosteer! Nu snap ik het.
@firebird: en als ze die cijfers hebben gebruikt om het aantal crashes per gereden km te bereken dan snap je dat delen door 0 dan een oneindig aantal crashes betekent.
@vroaaar: Ja dat had ik al begrepen. Het was me alleen niet duidelijk dat dit bij de pre-categorie werd opgeteld.
@firebird: 18 crashes per 0km, daar kun je niet mee rekenen, dat is geen geldige data. Dan heb je als het ware oneindig veel crashes.
Om dan op 59% meer dan oneindig uit te komen is ook knap.
Maar goed, ik geloof beide organisaties in deze niet. Ik denk dat ze allebei creatief boekhouden.
@fanboy: Natuurlijk kun je daar wel mee rekenen – zij het niet correct:
Je hebt 18 crashes, die gaan bij het totaal aan crashes. Je hebt daarbij 0 km, en die gaan bij het totaal aan kilometers. Vervolgens deel je de aldus verkregen totalen op elkaar en voilà: je hebt uitermate slechte statistieken geproduceerd.
@vaakbenjetebang: Haha precies
@firebird: als ik het goed lees betekent dit dat die 18 ongelukken hebben plaatsgevonden voordat autosteer was aangezet. Daardoor lijkt autosteer veiliger.
Ach ja, positief of negatief nieuws. Op deze manier krijgt Tesla toch lekker weer veel aandacht.
@leaper035t: geldt in principe voor elk merk waar een artikel over verschijnt. Snap de negatieve ondertoon dus niet helemaal??
@banaan7: Absoluut! Bedoelde het overigens niet negatief hoor…
@leaper035t: Ah oke sorry ;)
“Volgens hen had de juiste conclusie op basis van de data moeten zijn dat het systeem de kans op ongelukken niet met veertig procent verkleinde, maar juist met 59 procent verhoogde”
Nee, de epidemioloog schter deze firma geeft aan dat op basis van de door hem wel als valide gekenmerkte data je zou komen tot een verhoging met 59%, maar daarbij aangetekend dat dataset niet representatief is. Kortom, het is juist ter illustratie hoe eenvoudig je tot bepaalde conclusies kan komen als de data onvolledig, niet correct of niet representatief is. Niet een bewijs van het tegenovergestelde.
Maar de pers zet meteen de kopieermachines aan met smeuïge koppen als ware gospel. Ironisch genoeg de exacte kritiek die Tesla fanaten wordt voorgeschoteld als ze de oneliners van Musk quoten.
Voor diegenen die wat meer gebalanceerde context zoeken, verwijs ik o.a. door naar Arstechnica.
@macready: Inderdaad, overigens, wat voor mafklapper ben je als je op de website van je ‘consultancy toko’ een foto plaatst van jezelf met een geweer in je handen ..
Mooi ‘neutraal’ stukje hoor, Jaapiyo. Voor het gemak vergeet je de reactie van Tesla zelf te vermelden, en het feit dat ze tegenwoordig elk kwartaal de cijfers publiceren.
Kun je mij vertellen wie precies ‘QCS’ is? Dit is slechts 1 persoon, genaamd Randy Whitfield.. ‘Constultancy toko’ klinkt in ieder geval erg fancy. Mooie site heeft hij in ieder geval wel: w w w quality-control[punt]us/abt_randy.html
Waarom wilt hij nu deze ‘cijfers’ onder de aandacht brengen, terwijl hij slechts 1% (ja, 1!) van alle gereden Autopilot kilometers gebruikt? Ook nog eens gedurende het AP 1.0 tijdperk, systeem van Waymo. Lekker makkelijk om dan een ‘duister plaatje’ te schetsen en zelf niet in gaat op het ‘betwisten’ van dit onderzoek. Je zou het eens van twee kanten kunnen beschrijven ;).
Maar goed, je kunt hier natuurlijk lekker negatief over schrijven!
@crepito: Tesla’s eigen cijfers, ja dat zal lekker eerlijk en neutraal uitkomen zeker! Grappenmaker.
@basjaski: Daar baseert iedereen zich op uiteindelijk. Ze komen niet uit de lucht vallen.
Aangezien de mens altijd op zoek is naar gevaar voorzie ik een grote toename van Tesla’s op de weg.
Auto’s met hulpmiddelen (parking control etc.) blijken uit onderzoeken meer schade te rijden. Ik weet te weinig van de data om Autosteer hier ook onder te laten vallen, maar acht de kans wel aannemelijk.
@pindakoning: hetzelfde verhaal met deelnemers aan slipcursussen, die na de cursus denken meer aan te kunnen en daardoor meer risico nemen
@pindakoning: Gigantisch verschil. Je hebt het over mensen die zichzelf overschatten versus techniek die wel of niet goed werkt.
En ik zie graag cijfers van je claims over rijhulpmiddelen.
@fanboy: Volgens mij is dat een stukje interpretatie-divergentie (dank, Louis). Auto’s met PDC, BLIS, AEB en dergelijke zorgen voor hogere reparatiekosten omdat de bumpers dan sensoren bevatten die vervangen of opnieuw uitgelijnd moeten worden (zie bijvoorbeeld https://www.amweb.nl/schade/nieuws/2018/07/meer-schade-door-rijhulpsystemen-101111619?vakmedianet-approve-cookies=1&_ga=2.126991694.235525168.1550310520-481697221.1548538449). Voor zo ver mij bekend is er geen informatie die bevestigt dat auto’s met meer hulpmiddelen meer schades rijden. Het voelt natuurlijk wel lullig aan, dat de schadeposten hoger worden door die systemen, en je kunt er dan ook heerlijk op kromredeneren “dat die systemen niet werken” – maar je moet de realiteit niet uit het oog verliezen. Simpel voorbeeld: als ik een auto met PDC rondom heb en er rijdt iemand mijn achterbumper aan flinters in de file, is de schade veel groter dan als ik geen PDC had gehad, maar het is geen bewijs dat PDC niet werkt.
Het is opvallend dat vrijwel iedere innovatie die met veiligheid te maken heeft in de automotive-wereld met dit soort vooroordelen en halfbakken waarheden te maken krijgt vanuit degenen die het juist moet beschermen. Wie kent immers niet het legendarisch-anekdotische verhaal van de man die een crash overleefde, juist omdat hij geen gordel droeg? En wie van de wat ouderen onder ons herinnert zich niet de drogredeneringen omtrent ABS, die er op neerkwamen dat mensen meer risico’s zouden nemen omdat ze wisten dat het systeem aan boord was, waardoor autorijden juist onveiliger zou worden? Grappig genoeg wijzen de statistieken in vrijwel alle gevallen anders uit, maar de verhalen blijven rondzingen.
@vaakbenjetebang: Mee eens, en het beperkt zich niet tot veiligheid zaken.
Want je hebt dit soort gedonder ook bij van alles wat men niet kent.
Ook bij elektrisch rijden, en ander duurzame zaken. Wat een bullshit je kan lezen over warmtepompen bijvoorbeeld, dat ze niet zouden werken.
Het is gewoon angst voor verandering.
@fanboy: neem jij lekker een warmtepomp..
@lekkaah: Heb ik al. Met zonnepanelen enzo.
Maar volgens sommige artikelen online zou het niet werken :)
@fanboy: waar komt jouw fascinatie voor elektriek vandaan (serieuze vraag, niet aanvallend bedoelt)
@lekkaah: Vaak werkt de elektrische variant gewoon beter.
Of je dat leuk vind is wat anders. En het kan ook te duur zijn.
Ik heb ook nog een oldtimertje en een 4×4 diesel camper, dus tja, het is niet alsof ik helemaal om ben.
@fanboy: true, je bent iig alvast voorbereid :)
@fanboy: en een klm frequent flyer pas toch? ?
@bitd: Nee ik rij gewoon naar de andere kant van de planeet. Ik weet alleen niet of dat beter is :P
@vaakbenjetebang: @ ABS verhaal: De Constant risico theorie is een bekende in de verkeerswereld, en blijkt vaak juist. Of het de verkeersveiligheid dus praktisch verhoogt is niet altijd direct aantoonbaar.
@fanboy: hoeft niet. Ik deed mee aan een race experience en kwam erachter dat best vlot was maar niet in de buurt kwam van een prof en dat slippen plus controle toch lastiger was als ik dacht.
Ach, de updates aan autosteer hebben dit zinloos gemaakt. Helaas echter weer een smet om een hoger doel te bereiken, dat is niet goed.
Ik vraag me al tijden af, hoeveel van de concurenten zijn er gecrashd afgelopen 4 jaar, van type Audi 7, BMW 5 en Mercedes E, want die liggen niet onder het vergrootglas waar Tesla onder ligt al jaren lang.
@caprio: op zich heb je een punt, maar je vergeet even dat Tesla dat vergrootglas ook wel heel nadrukkelijk opzoekt. Er zijn maar weinig autofabrikanten waarvan de grote baas zich zo vaak, en dan ook nog regelmatig met controversiële teksten, van zich laat horen op o.a. Twitter, in plaats van de marketingafdeling een nietszeggend persbericht uit te laten sturen. Het is mede dankzij de publiciteit en het vergrootglas dat Tesla is wat het is.
Zucht… waarom had ik hier ook alweer op geklikt?
Mijn goede voornemen voor de rest van 2019: een stuk minder Tesla-berichten lezen.
@vaakbenjetebang: ik denk dat het probleem vooral in de hoofden van de “not haves” zit. Sommigen die de nieuwe zaken/veiligheidssystemen/elektrische auto’s/warmtepompen/dure smartphones/merkkleding/etc. niet hebben en het zich niet kunnen veroorloven gaan om zichzelf niet achtergesteld te voelen ontkennen dat die dingen goed/beter zijn.
Dus, wat is de correcte uitkomst? Of is dit nieuwsbericht alleen maar om te zeiken en wordt het (waarschijnlijk) nog steeds positieve resultaten ook in de doofpot geduwd?
Wat een sensatie weer… er is dus met cijfers gegoogelt! Foei Tesla. Dat doet Audi niet! ??
@jaapiyo: even goedkoop puntjes scoren door Tesla in een kwaad daglicht te zetten? Zwak verhaal, belachelijke conclusie.
Bij incorrect gebruik van de techniek is Autopilot odd onveiliger dan zelf sturen. Met 40.000 verkeersdoden per jaar in de VS is het verkeer daar echter veel gevaarlijker dan hier (wij zitten onder de 1000 doden per jaar, vergelijkbaar zou dan bijna 2000 doden zijn in NL).
Belangrijk is om te weten hoeveel ernstige ongevallen met slachtoffers er gemaakt worden tijdens het gebruik van Autopilot NA de initiële gewenningsperiode. Als we voorbarige conclusies hadden getrokken in de beginfase dan hadden we ABS ook afgeserveerd. Ga je lekker ouderwets pompende remmen met ABS op de auto blijkt je remweg langer met ABS dan zonder… AAAH ABS is levensgevaarlijk!!!!
Onzorgvuldig met data omgegaan wat invloed heeft op testresultaten die al jaren niet meer relevant zijn.
Wat een clickbait weer. Niets hiervan is nog enigszins van toepassing dus, fijn om te weten allemaal.
Over data en correlatie gesproken. Shell kwam gisteren in het nieuws de online discussie daarover pakte niet gunstig uit en je kan er vergif op innemen de dag erna word van alles en iedereen beschuldigd. Toevallig? Nee dacht het niet bij Shell ligt het er zo dik bovenop je hoeft alleen de s weg te halen!;)
Blij te zien dat de Tesla goedpraters weer in ruime getale aanwezig zijn.
Tot nader order is het verboden je handen van je stuur te halen en moet je als bestuurder op elk moment de controle over je voertuig behouden. Zolang die wetgeving niet wijzigt, mogen Tesla en andere autofabrikanten met dit soort technologie zoveel slagen of falen als ze zelf willen. Het is van nul en generlei waarde. Fake news, moving on.
@bara: het is ook verboden om je telefoon te gebruiken als bestuurder van een automobiel.
Beetje zat aan het worden Tesla berichten… ik bem geen Tesla fan , maar ze hebben barriere doorbroken om eindelijk electr auto op de markt te brengen die nog ook snel is. Olie magnaten doen er ook alles om zulke bedrijven in slechte daglicht te brengen
@elemento: dit hoort bij het hersenspoelen van de EV lobby, ons bombarderen met nieuws over EV’s. En de jochies van de automobielpers prostitueren zich gewillig.