30-10-2009

Bashers-discussie over de perfecte score voor Uncharted 2

Vandaag publiceert het blog Bashers een discussie over de 100 die Jan Meijroos in de Power Unlimited aan Uncharted 2 gaf. Zoals te verwachten heeft dit alles nog al wat stof doen opwaaien in de game-industrie. In een sterk staaltje onderzoeksjournalistiek vroeg de uitbater van Bashers, Niels 't Hooft, een aantal gamedekundigen om hun mening. Ook ik mocht mijn vijf centen over de score geven. Hieronder het complete verhaal met dank aan Bashers.com. Wil je de reacties lezen, die ongetwijfeld gaan komen klik dan hier Waarschuwing voor af, onderstaand is een lang maar interessant.


Bashers 30 oktober 2009

Kan een game perfect zijn? Staan de 100, de 10 en de 5/5 wel voor ‘perfect’? Moet je überhaupt cijfers willen geven aan een cultuurproduct als een videogame? En is Uncharted 2 écht een van die games die perfect zijn of althans de perfecte score verdienen? Allemaal vragen die de review van Jan Meijroos in Power Unlimited opriep, waarin Meijroos inderdaad de hoogst mogelijke score uitdeelde: 100. Reden genoeg een reactie te vragen aan de scribent in kwestie, plus een aantal collegajournalisten en mensen uit de gameindustrie. (PU-collega Jan-Johan Belderok schreef ook al een blogpost over deze discussie.) Lees ze na de klik en laat in de reacties weten wat jij ervan vindt.



Jan Meijroos (freelancer o.a. Power Unlimited): “Dit is het spel waar ik dit jaar het meest intense plezier aan heb beleefd.”
Vooraf wist ik dat de 100 score behoorlijk wat stof zou doen opwaaien maar om de game om die reden dan maar veilig geen 100 te geven is laf. Net zo als het mijns inziens laf is om een sterrensysteem te hanteren want de tientallen, zo niet honderden 5 uit 5 sterren recensies voor Uncharted 2; daar hoor je dan weer niemand over. Hoe dan ook; games recenseren is, thank god, geen exacte wetenschap. Ik ken mensen die met een kladblokje naast hun schoot aantekeningen gaan zitten maken tijdens het testen van een spel. Ik vind dat met alle respect volledig voorbij gaan aan de essentie van gaming. Een spel moet je beleven, ervaren, een game dient je onder te dompelen en UC 2 heeft dat bij mij op ongekende wijze gedaan. Daarmee is het voor mij het spel waar ik dit jaar het meeste (leest meest intense) plezier aan hebt beleefd, en daardoor verdient ‘ie een ultieme score. 100 betekent voor mij dan ook niet ’ perfect’. Met die 100 wil ik iedere lezer vertellen dat als hij of zij dit (na)jaar een spel speelt, dat het dan toch vooral Uncharted 2 moet zijn. Hoe beter is dat samen te vatten in de hoogst haalbare score die binnen Power Unlimited geldig is. Vergelijk het met een wereldrecord sprinten; de snelste sprinter wint het hoogst haalbare; een gouden medaille, maar dat betekent niet dat hij of zij een perfecte race perse heeft gelopen. Misschien kon de start 1/100 sneller of was het schoeisel niet optimaal. Maar de sprinter zet op dat moment wel de standaard neer. Net zoals Naughty Dog de nieuwe standaard in het action-adventure genre neerzet met Uncharted 2. In een ideale wereld zou ik een blad willen maken zonder cijfers, want de tekst spreekt mij inziens voor zich. Kotaku is een (extreem) voorbeeld waarbij spellen zonder cijfers worden beoordeeld. Maar consumenten en de markt hebben behoefte aan duiding middels een verre van perfect cijferbeoordelingssysteem.



Boris van de Ven (eindbaas Gamekings, Firstlook): “Er is altijd wel een reden te verzinnen waarom een perfecte score niet terecht is.”
Deze discussie heeft een aantal zaken die gescheiden moeten worden. In de eerste plaats is het vreemd om een absoluut cijfer te geven voor iets subjectiefs als een mening. Op zich overkomelijk omdat we er al zo lang aan gewend zijn maar het systeem valt in elkaar als je cijfers als 100 gaat uitdelen. Dan laat je gewoon geen plaats voor een tegen argument en hoe positief je ook bent over een game, er is altijd wel een reden te verzinnen waarom een perfecte score niet terecht is. In het verlengde daaraan kun je jezelf afvragen waarom mensen je review lezen. Op veel gameredacties heerst het idee dat lezers of bezoekers een review lezen om zichzelf te informeren over een bepaalde game. Dit is een misverstand. En dit is iets dat we uitgebreid hebben onderzocht. Geïnteresseerde gamers weten echt al lang voordat ze Jan’s review lezen wat ze van Uncharted 2 vinden. Sterker nog, de enige reden waarom ze Jan’s artikel lezen is om hun eigen mening te toetsen aan iemand die als autoriteit wordt gezien. Als lezers het eens zijn met Jan, zullen ze de review als goed ervaren en als ze het niet eens zijn zullen ze het hele blad als slecht ervaren. In die zin is het onverstandig om dit soort extreme cijfers te geven want de kans dat lezers het niet met je eens zijn is gewoon heel erg groot. En dat straalt dus af op je hele blad. Maar goed, ter verdediging van Jan. Als een duidelijke visie over cijfers in je publicatie ontbreekt dan wordt het als reviewer ook heel lastig.



Jeroen van Trierum (redacteur Entertainment Business): “Je moet een review zien in de context van de tijd waarin deze geschreven is.”


Is het reëel dat een reviewer iets beoordeelt met het ultieme cijfer? Dit is een vraag die je zowel met een ja als een nee kunt beantwoorden. Als je een score ziet als iets dat voor een lange tijd relevant moet zijn dan niet. Zie je een score als een momentopname dan weer wel. Over een paar jaar, of misschien sneller is de 100 van Uncharted 2 zeker achterhaald. Er komen nieuwe consoles en de techniek gaat verder. Volgens mij moet je een review zien in de context van de tijd waarin deze geschreven is. Op dit moment is de Sony-game simpelweg het beste dat dit jaar verschenen is op gamegebied. Ik kan dus heel goed leven met de beoordeling van Jan. Daarnaast is een review niet meer dan een mening van de scribent. Een mening waar je het niet of juist wel mee eens kan zijn. Dat is volgens mij, in deze tijd van online informatieconsumptie dan ook de toegevoegde van de gamebladen. Dat gezegd hebbende Ik zou niet graag in de schoenen staan van Jan en zijn andere PU-collega’s. Volgende maand staan er nog twee gegarandeerde successen op de plank. Call of Duty: Modern Warfare 2 en Assassin’s Creed 2. De uiteindelijke beoordelingen hiervan zijn moeilijk los te weken van de perfecte 100 die Uncharted 2 kreeg. Gaan deze games besproken worden met de beoordeling van Uncharted 2 in het achterhoofd? Ik denk dat het onmogelijk is om dit niet te doen. Wat weer voor de nodige discussies binnen de fanboy-community en de industrie gaat zorgen. Krijgt Assassin’s Creed 2 of Modern Warfare 2 lager dan de 100 dan denk ik dat het een zekerheid is dat productmanagers van deze titels even zullen slikken. In hun argumentatie over het cijfer komt dan ook de ultieme beoordeling die Uncharted 2 kreeg zeker naar voren en geef ze eens ongelijk.



Nikki Kuppens (gamedesigner W! Games): “De kwaliteit zo lang zo hoog houden in zo’n diverse game is een ongekende prestatie.”


Als gamer én developer zijn er twee manieren om naar Uncharted 2 te kijken: persoonlijk en professioneel. Persoonlijk is Uncharted 2 voor mij het summum van een toffe game-ervaring, die boven alles wat ik tot nu toe gespeeld heb uitstijgt. Jan kan in zijn review prima uitleggen waarom dit een geweldige game is, maar dat is denk ik niet het onderwerp van de discussie. Professioneel gezien kan je alleen maar enorm veel respect hebben voor Naughty Dog. Ze doen eigenlijk niks revolutionair nieuws, maar ze doen en presenteren het wel revolutionair goed. Alles custom, niks generiek. Daar moet je als studio maar net de ruimte voor krijgen. De kwaliteit zo lang zo hoog houden in zo’n diverse game is een ongekende prestatie, waar geen enkele game momenteel aan kan tippen. Dat gezegd hebbende lijkt een score van 100 mij totaal niet ongepast. Zit er überhaupt veel verschil tussen een 98, 99 of een 100? Kwalitatief gezien niet, maar 100 maakt wel iets duidelijk. Natuurlijk moet je daar als reviewer niet te pas en te onpas mee strooien, maar als je serieus bent kan je dat ook niet. Daar zijn Jan en zijn PU-collega’s zich echt wel van bewust. Dit is de lat, weinig games zullen die halen. Doen ze dat wel, geef ze dan lekker die score van 100. Bovendien is die lat relatief, gebaseerd op eerdere pogingen en echt geen indicatie van perfectie. Als dit de norm wordt, dan zal tegen die tijd een nog grotere prestatie nodig zijn voor zo’n fix en bijpassende score. Edge gaf Super Mario 64 ooit een 10, dat zou je nu niet meer doen. Maar iedereen weet nog wel wat voor mijlpaal dat was, net als Uncharted 2 nu.



Jurrie Hobers (Codemasters Benelux): “Het gaat er volgens mij ook helemaal niet om of iets wel of niet perfect is.”


Emotie en ratio worden natuurlijk enorm gemixt in iets persoonlijks als een review van een game(servarging). Hetzelfde als ik jouw huid ga ‘bespreken’ en een score ga geven (of nog beter: jouw vrouw!). Ik vind in dat licht dat een score van 100 gewoon kan. Het geeft weer dat in het huidige tijdsbeeld, dit voor de reviewer de best mogelijke ervaring is op gamegebied. Natuurlijk zou je dit ook kunnen overbrengen door een 99 te geven, maar waarom geen 100? Het gaat er volgens mij ook helemaal niet om of iets wel of niet perfect is, maar om wat de beste games ervaring is op dit moment. En als dat voor de reviewer Uncharted is, dan lijkt het mij duidelijk dat je dan een 100 geeft. Volgend jaar zullen er weer andere normen gelden. Waar het mis loopt is wanneer je de games (die verschillen in platform, genre, tijdsgeest etc.) in een lijst gaat zetten om ze te vergelijken, dan treden er verschillen op die niet in absolute scores uit te drukken zijn, maar wel zo naar voren komen. Het blijft een compromis. Net als in het echte leven, de een rijdt nu eenmaal liever in een BMW en de andere in een Mercedes.



Matthijs Dierckx Kuijper (uitgever Control): “Een 100-tallige schaal impliceert dat een spel met hetzelfde cijfer even goed is.”


“100” is onzinnig. Stupide. Onverdedigbaar. Overigens bedoel ik daarmee niet de recensie van de heer Meijroos, maar de schaal. De schaal die zegt “games beoordelen is wél een exacte wetenschap”, de schaal die zegt “wij recensenten zijn zo goed, dat wij een verschil van een honderdste ‘kwaliteitseenheid’ kunnen waarnemen”. Als Hirsch Ballin en de zijnen dan toch zo nodig iets moeten verbieden in de gameswereld, laat het de schaal van 100 zijn! Kijk, ik heb jarenlang zelf games en later ook films langs die vreselijke lat gelegd. Dat mondde altijd uit in hetzelfde: haasje-over. Dat komt omdat een 5-sterren systeem niet, maar een 100-tallige schaal wèl impliceert dat een spel met hetzelfde cijfer even goed is. Command & Conquer is echt wel beter dan De Sims - dus hup, een paar tienden erbij. Maar Gran Turismo is ook echt wel beter dan Command & Conquer, dus hup… weer een haasje dichter bij de 100. Als een publicatie of website maar lang genoeg bestaat, zijn er geen haasjes meer over. En dat is precies wat er de laatste jaren gebeurt. Je ziet her en der tienen voor Halo 3, GTA IV, Little Big Planet en nu dus Uncharted 2. Wie een schaal van 100 hanteert, komt steeds vaker in de problemen. Als Meijroos en zijn collega’s maar vaak genoeg een 100 geven, sterft de schaal uiteindelijk een gewelddadige dood. Daar hebben we Hirsch Ballin en de zijnen helemaal niet voor nodig.


David Nieborg (onderzoeker Universiteit van Amsterdam): “Een 100 verdient twee keer zoveel uitleg als een 98.”

Ik zou zelf nooit voor een 100-puntsschaal gekozen hebben, vijf of tien punten is makkelijker. Bij Dagblad De Pers deed ik altijd kopen/niet kopen, dat is pas overzichtelijk. Maar als je een schaal van 100 hebt moet je ook het hoogste cijfer kunnen uitdelen. Het geven van een 100 vereist dan wel extra uitleg. Een 100 zou niet zomaar iets moeten zijn. Ik becijfer regelmatig het werk van studenten, met name essays en scripties. Dat is ook geen ‘exacte wetenschap’. Maar toch zijn er wel een soort toetsstenen waar een 10 aan moet voldoen. Mijn twee belangrijkste toetsstenen (voor een 10 als scriptiecijfer) zijn; het onderzoek moet publicabel zijn in een academisch vakblad en het moet mij een dieper inzicht geven (anders gezegd: mij iets leren). En zo zijn er een aantal criteria waar zevens, achten en negens aan moeten voldoen. Waarom dit voorbeeld van scriptiecijfers? Wat ik mis bij de 100 van Jan, en zoals Boris al fijntjes opmerkt, is het niet bestaande (of onduidelijke) cijferbeleid van de PU. Want hoewel het dan geen ‘exacte wetenschap’ mag zijn, je kan cijfercriteria wel eenduidiger maken. Ik vind de uitleg van Jan voor zijn 100 niet zo sterk: “Daarmee is het voor mij het spel waar ik dit jaar het meeste (leest meest intense) plezier aan hebt (sic) beleefd, en daardoor verdient ‘ie een ultieme score.” Deze uitleg is wel erg mager en te makkelijk af te doen als zomaar een mening. Voor mij zou een 100 beteken dat het niet het “vetste spel van het jaar is” of “mooi” is. Meer dan elk ander cijfer zou een 100 meer moeten betekenen. Ik wil dan willen weten (van Jan) wat dit spel dan zo bijzonder maakt en vooral, waarom dat zo is. Tilt Uncharted 2 het genre naar een hoger plan? Is dit een stap vooruit voor het medium? Hoe innovatief is de ‘core’ gameplay (schieten, rennen, klimmen) ten opzichte van eerdere games en andere PS3 games? Enz. Maak die review maar twee keer zo lang en doe er maar drie keer zo lang over om hem te schrijven. Want als je A zegt moet je ook B zeggen. Een 100 verdient nu eenmaal twee keer zoveel uitleg als een 98 (een 99 verdient overigens ook veel uitleg ;). En dan is iets “mooi vinden”, of “fantastische ervaring” of “ongeëvenaard” niet voldoende. Nu mis ik de uitleg wat Uncharted 2 nu zo’n verdraaid goed spel maakt totaal (want laten we wel wezen, een goed spel, dat is het).



Jos Bouman (ex-hoofdredacteur N Gamer en GMR): “Je zou eigenlijk maar twee of drie keer per spelcomputergeneratie het maximale cijfer mogen uitdelen.”


Ik ben dol op cijfers. Je kunt er precies mee zeggen hoe goed je een spel vindt, en bespaart je de moeite om uit te leggen dat je het beter vond dan dat en dat spel, maar slechter dan dat en dat spel, waarmee je uiteindelijk niet veel meer zegt. De gewonnen ruimte kun je gebruiken om uit te leggen waarom je dat vindt. En dat is natuurlijk het belangrijkste. In de uitleg die bij het cijfer van Uncharted 2 hoort is het opvallend dat de reviewer van de PU het spel niet heeft uitgespeeld. Op de site zegt hij tot level 17 gekomen te zijn, in het tijdschrift staat in een verder precies dezelfde review dat hij tot level 23 is gekomen. Van een spel waarin het verhaal en de actiescènes zo belangrijk zijn mag je denk ik wel verwachten dat het op zijn minst volledig is uitgespeeld, vooral als je een 100 geeft. Maar goed, als je in de review concludeert dat het spel beter is dan films van Steven Spielberg en George Lucas, dan is dat misschien toch bijzaak. Het einde van films boeit me namelijk niet zo. Jaws heb ik een kwartier voor tijd uitgezet. Later heb ik begrepen dat die enorme haai de aftiteling niet ongefileerd gehaald heeft. Star Wars-films kijk ik ook nooit uit. Ik vind het juist leuk om een beetje te fantaseren over de afloop. Luke Skywalker bijvoorbeeld… als hij nou eens de zoon is van Darth Vader? Van zo’n malle gedachte kan je alleen maar genieten als je niet weet hoe The Empire Strikes Back echt afloopt. Terug naar het cijfersysteem. Als je een consistent cijferbeleid voert, dan zou je eigenlijk maar twee of drie keer per spelcomputergeneratie het maximale cijfer mogen uitdelen. Dat is dan de titel waar alle andere games mee worden vergeleken. Als je dat te vaak doet, kun je niet meer zeggen welk spel nu eigenlijk beter is dan het andere, en gaat de functie van het cijfersysteem verloren. Of je moet gewoon de schaal elke paar jaar aanpassen. Modern Warfare 2 lijkt me daarvoor een goed excuus. Geef dat spel een 103, dan kun je weer een paar jaar vooruit voordat het nieuwe plafond van 110 bereikt wordt, en ga je naar 120. Bij de Power Unlimited zou het moeten kunnen, aan de naam ligt het in ieder geval niet.


Dave Epke (Sony): “Wij zijn uiteraard heel erg blij met de hoge scores die Uncharted 2 heeft ontvangen.”

Wij zijn uiteraard heel erg blij met de hoge scores die Uncharted 2 heeft ontvangen. Hoe die reviewscores tot stand komen en welke richtlijnen daarvoor worden gehanteerd is een proces waar wij geen invloed op kunnen en vooral niet willen hebben. Het reviewproces is een objectief en onafhankelijk proces waar wij geen rol in spelen en dat moet vooral zo blijven.

Geen opmerkingen:

Een reactie posten