So testen wir

DSC Labs 28R Chroma DuMonde Chip Chart
Dieses Chart benutzen wir so oft, es könnte auch unser Logo sein. Die Grafik wurde von DSC Labs gestaltet und wird zur Untersuchung der Farbgenauigkeit bei guten und schlechten Lichtverhältnissen verwendet. Da darauf auch 'Auflösungstrompeten' abgebildet sind, kann es auch als Verweis auf die Bildschärfe verwendet werden. Zur Ermittlung der Bildschärfe benutzen wir aber das MultiBurst Testchart, das darunter abgebildet ist.
 

DSC Labs Cam Align MultiBurst Testchart
Dieses Chart wird zur Ermittlung der Bildschärfe und Auflösung verwendet.
 

X-Rite-ColorChecker-Farbtafel
Diese Farbtafel wurde von X-Rite gestaltet und dient seit längerem als Standardfarbtest in der Fotografie. Wir benutzen sie um die Farbgenauigkeit der von Camcordern aufgenommenen Fotos zu prüfen.
 

Applied Image ISO 12233 Auflösungsgrafik
Diese Standardgrafik wurde uns von Applied Image zur Verfügung gestellt um Fotoauflösung und -schärfe zu testen.  
 

CamcorderInfo.com 'Bewegliches Stillleben'
Zu unserem selbst zusammengestellten Stillleben gehören ein elektrischer Zug, ein Wasserfall, eine Armbanduhr, eine Handvoll bunt gefärbter Rohrreiniger und zwei Drehscheiben, eine schwarz-weiß und eine bunte. Um beide Scheiben mit einer bestimmten und gleichmäßigen Geschwindigkeit zu drehen wurden sie auf Lego Mindstrom NXT Motoren montiert.



Final Cut Express
Die Videos werden hauptsächlich Final Cut Express bearbeitet – solange die Dateiformate damit kompatibel sind. Da routinemäßig neue Dateiformate eingeführt werden, können wir sie nicht alle mit ein- und demselben Programm bearbeiten (die meisten Programme können auch nicht mit dem Tempo in der Redaktion mithalten). Deshalb benutzen wir, notwendigerweise, manchmal andere Bearbeitungssoftware.

DV Rack 2.0 HD
DV Rack bietet ein ganzes Paket an Bewertungsprogrammen. In unserem Labor wird nur der Waveformmonitor benutzt, mit dem sich die minimale Beleuchtungsstärke als Sinuskurve messen lässt. DV Rack wurde inzwischen von Adobe aufgekauft und wird als Adobe OnLocation vermarktet.

Imatest
Um Farbgenauigkeit, Bildrauschen und Fotoauflösung zu messen benutzen wir hauptsächlich das Bildauswertungsprogramm Imatest. Reviewed.com hat eng mit Norman Koren, dem Entwickler von Imatest, zusammengearbeitet um die Analyse besser verstehen und an unsere Test-Bedürfnisse anpassen zu können. Da Imatest primär für Fotos entwickelt wurde, werden Bildausschnitte unserer Videoclips normalerweise mit dieser Software analysiert.

Spectra Professional IV-A Digitaler Belichtungsmesser
Dieses Tool benutzen wir um Lichtwerte in Lux zu messen.

Johnson Hot Shot Laser Level
Die Größe des Bildwinkels (Weitwinkel) der Videokameras messen wir mit einer auf einem Stativ angebrachten Laser-Wasserwaage.

Westinghouse LVM-37w3 HDTV
Mit diesem Fernseher sehen wir uns Aufnahmen an, vergleichen sie und werten die Auflösung aus. Der Fernseher wird nicht zur Bestimmung der Farbgenauigkeit genutzt.

Beleuchtung
Für die Tests in guten Lichtverhältnissen benutzen wir Lowell RIFA-Lite Softboxen mit 500 W GE Quartzline Halogenlampen und einer Farbtemperatur von 3150 K. Bei den Lowlight-Tests werden zwei Litepanel LP-Micro LED-Lichter mit einer Farbtemperatur von 5600 K verwendet.

Stabilisation
Die Bildstabilisation messen wir mit Hilfe einer Zaber T-LSR-75A Schiene und dem motorisierten Drehstadium Zaber T-RS60. Um die Bewegungen zu verfolgen benutzen wir die Postproduktions-Software Adobe After Effects.

Farbwiedergabe (gute Lichtverhältnisse)
Um die Farbgenauigkeit eines Camcorders bei guten Lichtverhältnissen zu ermitteln, leuchten wir das DSC Labs Chroma DuMonde Chart mit 3000 Lux aus. Der Camcorder wird auf einem Stativ hinter einer Duvetine aufgebaut und nimmt durch eine kleine Öffnung im Vorhang auf.  Nach der manuellen Einstellung des Weißabgleichs wird das Videomaterial im Automatikmodus gefilmt. Hat ein Camcorder mehrere Farbmodi, wird die Grafik mit allen möglichen Einstellungen aufgenommen.

Nach dem Upload werden (meistens mit Final Cut Pro) qualitativ hochwertige Bitmaps ausgeschnitten. Diese werden in die Imatest-Software verschoben, wo das Multichart Modul gestartet wird. Imatest analysiert 28 Farben am Chroma DuMonde Chart und vergleicht die bekannten Farbwerte mit den Farbwerten der Videoaufnahmen. Mit Hilfe von komplizierten Gleichungen, den sog. CIEDE2000 Farbfehler-Formeln, wird dann der 'Farbfehler' des Bildes berechnet. Je kleiner die Abweichung, desto besser ist die Aufnahme.

Das Endergebnis basiert auf dem Mittelwert der Farbfehler.

Bildrauschen (gute Lichtverhältnisse)
Das Bildrauschen bei guten Lichtverhältnissen wird mit der, mit 3000 Lux ausgeleuchteten, X-Rite-ColorChecker-Farbtafel ermittelt. Auch bei diesem Test nehmen wir, nach manueller Einstellung des Weißabgleichs, im automatischen Modus auf. Den größten Einfluss auf das Bildrauschen hat die Belichtungsstärke. Bei Consumer Camcorder lässt sich diese jedoch selten einstellen. Sollte ein Hersteller diese Möglichkeit bieten, führen wir zusätzliche Tests durch. Die Endnote aber basiert immer auf den Aufnahmen im automatischen Betrieb.

Mit professionellen Camcordern führen wir ausführlichere Tests durch um einen Eindruck der Gesamtleistung zu gewinnen. Wir nehmen die X-Rite-ColorChecker-Farbtafel mit allen vorhandenen Lichtverstärker-Einstellungen (Gain) des Camcorders auf (normalerweise reichen diese von -6dB bis +18dB mit 3dB Stufen). Die meisten professionellen Camcorder bieten auch Einstellungen zur Rauschunterdrückung. Also testen wir alle Gain-Einstellungen in jedem Rauschunterdrückungs-Modus und die Daten werden in einer einfachen Grafik zusammengefasst.

In diesem Teil des Review werden 100%-ig vergrößerte Ausschnitte (crops) aus dem Chroma DuMonde Chart veröffentlicht. Unserer Meinung nach ist in dieser Grafik besser als in der X-Rite-ColorChecker Farbtafel ersichtlich, wie das menschliche Auge Bildrauschen wahrnimmt. Das Chroma DuMonde Chart wird nicht zur Bewertung herangezogen.

Sobald alle Aufnahmen gemacht und auf dem Computer abgespeichert sind, werden Bitmap-Bilder herausgeschnitten. Nach Verschiebung der Bitmaps in die Imatest-Software, werden die Rauschwerte von Imatest berechnet und in vier Chroma-Kanäle, Rot, Grün, Blau und Luminanz (Helligkeit) getrennt. Je geringer der Prozentanteil des Bildrauschens, desto besser die Aufnahme.

Die Endnote basiert auf dem durchschnittlichen Bildrauschen in allen vier Kanälen. Bei professionellen Camcordern basiert die Endnote auf einem Mittelwert aller Werte, einschließlich Gain-Einstellungen und Rauschunterdrückung.

Bewegungserfassung
Die Qualität und Charakteristika der Bewegungserfassung zu bestimmen ist schwierig. Im Gegensatz zu den Farbtönen, dem Bildrauschen, der Auflösung usw. gibt es keine Standardmessung zur Bewertung der Bewegungen in einer Aufnahme. Es gibt eine solche Methode für Fernseher, diese aber geben nur die Wiedergabequalität wieder, nicht die Qualität der Quelle.

In diesem Test filmen wir unser speziell angefertigtes 'bewegliches Stillleben' (von uns liebevoll 'Haltestelle' genannt). Die Haltestelle haben wir aus einer Reihe einfacher und komplizierter Bauteile zusammengestellt. Das ergibt ein Bewegungsmuster, bei dem sich alle einzelnen Teile einer bestimmten, gleichmäßigen Geschwindigkeit bewegen. Die Haltestelle wird mit jeder verfügbaren Bildwiederholrate des Camcorders aufgenommen.

Nach dem Importieren der Clips, werden diese auf YouTube hochgeladen. Um die besten Ergebnisse zu erhalten, wandeln wir die Videos mit QuickTime zu einer Größe von 1280 x 720 Pixel um und speichern sie im .MOV-Format mit einer 8000 kbps Bitrate. Die Qualität dieser Filme ist deutlich geringer. Würden wir jedoch die nicht komprimierten Clips zum Download zur Verfügung stellen, würde unsere Seite sicherlich dauernd zusammenbrechen. Wir prüfen diese Möglichkeit jedoch, um sie in Zukunft evtl. anbieten zu können.  

Das Testergebnis der Videoclipaufnahmen basiert auf der Beschaffenheit und dem Vorhandensein von Nachzieheffekten, Artefakten, der Gleichmäßigkeit der Bewegungen und der Hochfrequenz-Details.   

Video-Bildschärfe
Die Schärfedarstellung eines Camcorder stimmt meistens nicht mit der von Herstellern angegebenen überein. Camcorder mit einem Output von 1920 x 1080 zeichnen nicht wirklich 1920 horizontale Linien auf. Diese Zahl drückt nur die Größe des 'Containers' der Datenausgabe (meisten als Auflösung bezeichnet) aus. Tatsächlich können die Hersteller mit dieser Zahl verschiedenes hervorheben, z.B. die Leistungsfähigkeit des Objektivs, des Sensors oder ähnliches. Aber niemand will nur ein gutes Objektiv oder Sensor kaufen, sondern einen komplett zusammengebauten Camcorder. So testen wir die Bildschärfe auch.

Zunächst wird eine DSC Labs Multiburst Grafik mit 3000 Lux beleuchtet und der, auf einem Stativ positionierte, Camcorder auf den 16:9 Rahmen der Grafik ausgerichtet. Danach schwenken wir den Camcorder langsam für etwa 30 Sekunden von rechts nach links, richten ihn wieder aus und schwenken ihn dann ebenfalls für 30 Sekunden von oben nach unten.

Nach der Aufnahme schließen wir den Camcorder mit dem bestmöglichen Anschluss am HDTV an (also Composit-, S-Video, Komponent- oder HDMI-Anschluss). Bei der Beurteilung des Wiedergabematerials achten wir vor allem darauf ab wann die Linien der Grafik nicht mehr zu unterscheiden sind.  

Der Grund dafür, dass wir die Video-Bildschärfe in Bewegung testen statt als Standbild ist relativ logisch: Es wird  kaum jemanden geben, der sich während einer Videoaufnahme nicht bewegt. Bewegung ist die Grundeigenschaft für Videos. Die Hersteller mögen das vielleicht anders sehen, doch wir finden es macht so am meisten Sinn.

Die Ergebnisse dieser Rubrik beruhen auf der horizontalen und vertikalen Schärfedarstellung einer Aufnahme mit einer Bildwiederholrate von 50i. Manchmal messen wir die Scharfdarstellung auch in anderen Bildwiederholraten, doch diese werden bei der Auswertung nicht berücksichtigt.

Lowlight-Farbwiedergabe (schlechte Lichtverhältnisse)
Der Test für die Farbgenauigkeit bei schlechten Lichtverhältnissen läuft, bis auf einige offenkundige Änderungen, genauso ab wie der bei guten Lichtverhältnissen. Die Chroma DuMonde Grafik wird gleichmäßig mit 60 Lux ausgeleuchtet, was in etwa der Helligkeit einer Tischlampe entspricht. 60 Lux reichen um ein Buch zu lesen – obwohl einem nach einigen Minuten wahrscheinlich die Augen wehtun.   

Consumer Camcorder werden auch hier im automatischen Modus (nach dem manuellem Weißabgleich) getestet. Außerdem wird der automatische Lichtverstärker eingeschaltet. Oft ist es nicht möglich den Gain auszuschalten, so dass dieser Standard Sinn macht. Bietet ein Camcorder zusätzliche Gain-Einstellungen an, werden auch diese getestet, diese Ergebnisse werden bei der Auswertung aber nicht berücksichtigt. Nach Möglichkeit testen wir auch in verschiedenen Bildwiederholraten, das Endergebnis basiert aber auf einer Bildwiederholrate von 50i.

Das Videomaterial wird auf einem Computer gespeichert und Bitmaps daraus ausgeschnitten. Diese durchlaufen die Imatest-Analyse. Imatest erstellt ein Farbfehlerchart, der die Unterschiede zwischen den bekannten Farbwerten der 28 Farben und den Farben, die der Camcorder tatsächlich produziert, berechnet. Je kleiner der Fehler, desto besser die Farbwiedergabe.

Der durchschnittliche Farbfehlerwert bildet das Endergebnis.

Lowlight-Bildrauschen (schlechte Lichtverhältnisse)
Auch der Test zur Ermittlung des Bildrauschens bei schlechten Lichtverhältnissen ähnelt dem bei guten Lichtverhältnissen, ist aber weniger umfangreich. Die X-Rite-ColorChecker-Farbtafel wird mit 60 Lux ausgeleuchtet. Consumer Camcorder werden im automatischen Betrieb mit einer Framerate von 50i nach der manuellen Einstellung des Weißabgleichs getestet. Sind alternative Framerates oder Gain-Einstellungen verfügbar, testen wir auch diese. Aber nur die 50i-Aufnahmen werden in die Auswertung einbezogen, auch wenn wir natürlich die anderen Testergebnisse ausweisen.

Aus den importierten Aufnahmen werden am Computer Bitmap-Bilder generiert und mit Imatest analysiert. Das Programm dokumentiert das prozentuale Bildrauschen in vier Chroma-Kanäle: Rot, Grün, Blau und Luminanz (Helligkeit). Auch hier gilt: Je kleiner das prozentuale Bildrauschen, desto besser die Leistung des Camcorders.

Der Mittelwert der vier Kanäle bildet unser Testergebnis.

Minimale Beleuchtungsstärke (Lowlight Sensitivity)
Die minimale Beleuchtungsstärke prüft, wie viel Licht ein Camcorder benötigt um ein anständiges Bild zu produzieren. Dieser Grenzwert wird gemäß des produzierten Belichtungslevels gemessen. Die Belichtung wird in IRE angegeben, mit einer Skala von 7,5 IRE (dunkler Bildinhalt) bis 100 IRE (hellster Bildinhalt).

Zuerst beleuchten wir das Chroma DuMonde Chart mit etwa 60 - 80 Lux. Der Camcorder wird auf die Grafik gerichtet und mit dem Waveformmonitor verbunden, das gleichzeitig Daten über die IRE-Pegel des Camcorders liefert.  Nach dem Start der Aufnahme dimmen wir das Licht langsam und gleichmäßig. Die Lux-Level werden dabei so lange mit einem Belichtungsmesser geprüft, bis der Camcorder eine maximale Belichtung von 50 IRE produziert. Bei 50 IRE ist das Bild zwar noch etwas dunkel, doch immer noch hell genug um Farben und Details auszumachen.

Um einen möglichen Verlust der Datenqualität zu vermeiden (z.B. durch schlechte Anschlüsse, etc.), wird die Aufnahme auf einen Computer überspielt und der Test wiederholt.

Die Endnote ergibt sich aus dem Lux-Level, bei dem der Camcorder die maximale Belichtung von 50 IRE produzieren kann. Das Ergebnis für Consumer Camcorder basiert auf Aufnahmen im automatischen Betrieb, mit der höchstmöglichen Qualität und der Standard-Framerate.

Weitwinkel
In diesem Test messen wir, wie groß der Bildwinkel des Objektivs ist. Um den maximalen Winkel zu ermitteln, wird eine Laser-Wasserwaage verwendet, die eine Winkelmessung von bis zu 360 Grad erlaubt. Wir filmen wie der Laserstrahl das gesamte Sichtfeld des Camcorders entlangwandert. Um einen Informationsverlust aufgrund des LCD-Displays oder des Suchers auszuschließen, wird die Aufnahme hinterher auf einem Computer-Monitor abgespielt.

Die Endnote für diesen Testabschnitt basiert auf der maximalen Größe des Bildwinkels, gemessen in Grad.

Fotoqualität: Farben
Nahezu jeder Camcorder bietet mittlerweile eine Digitalkamerafunktion als alternativen Betriebsmodus an. Weil jeder Hersteller die hohe Qualität dieser Funktion anpreist, unterwerfen wir sie ebenfalls einer rigorosen Prüfung. Das Testverfahren basiert zum großen Teil auf unseren umfangreichen Digitalkamera-Tests, die in unserer Schwesterpublikation DigitalCameraInfo.com beschrieben werden.

Um die präzise Farbwiedergabe in der Fotofunktion zu testen, wird eine gut ausgeleuchtete X-Rite-ColorChecker-Farbtafel verwendet. Der Camcorder wird auf die Prüfflächen ausgerichtet, und ein manueller Weißabgleich durchgeführt. Da Camcorder bei automatischer Belichtung die Farben typischerweise übersättigen, wird der Test in verschiedenen Belichtungsmodi durchgeführt. Dabei werden die Belichtungszeiten und die Blendeneinstellungen etwa sieben Mal verstellt.

Nachdem die Testaufnahmen im Kasten sind, wird die Qualität der Farbreproduktion mithilfe der Bildauswertungssoftware Imatest gemessen. Imatest verzeichnet den absoluten Wert jeder Farbfläche und vergleicht ihn mit den Aufnahmen des Camcorders. Je geringer der Unterschied, desto besser die Leistung.

Die Endnote basiert auf dem Mittelwert der Farbfehler in der bestmöglich erhaltenen Aufnahme.

Fotoqualität: Bildrauschen
Das Bildrauschen in der Fotofunktion wird mit dem gleichen Testverfahren wie die Farbwiedergabe ermittelt (siehe oben). Imatest analysiert nicht nur die Farbwiedergabe, sondern berechnet gleichzeitig den Anteil der fehlerhaft belichteten Pixel auf den vier Chroma-Kanälen – Rot, Grün, Blau und Luminanz (Helligkeit).

Die Endnote für diesen Testabschnitt basiert auf dem Mittelwert, der auf allen vier Kanälen erzielt wurde.

Fotoqualität: Bildschärfe
Für den Schärfetest der Fotofunktion wird ein ISO-1223-Testchart verwendet, das optimal ausgeleuchtet ist. Genau wie bei der Prüfung der Farbwiedergabe und des Bildrauschen werden die Einstellung der Belichtungszeit und Blende für die Aufnahmen geändert. Die Fotos werden mit der Bildauswertungssoftware Imatest analysiert. Das Programm prüft zwei Bereiche des Testcharts: Die senkrecht verlaufenden Linien kennzeichnen die vertikale Auflösung, die waagerecht verlaufenden Linienbündel die horizontale Auflösung.

Imatest misst die Schärfe in „Bildpunkte je Zeile". Diese Messwerte weichen meistens erheblich von der von den Herstellern angegebenen maximalen Auflösung ab. Das löst häufig Verwirrung aus. Die Differenz ist jedoch leicht zu erklären: die Hersteller geben die idealen Werte der Bildsensoren an, wir testen jedoch die gesamte Kamera – also auch das Objektiv, die Optik, die Datenverarbeitung und die JPEG Bildkompression.

Die Endnote für diesen Testabschnitt basiert auf der Bewertung der horizontalen und vertikalen Schärfedarstellung. Bei einer Abweichung von mehr als 10% (Über- oder Unschärfe) werden Punkte von der Gesamtnote abgezogen.

Bildstabilisation
Der Bildstabilsator wird mit einer Zaber T-LSR-75A Gleitschiene und einem Zaber T-RS60 Drehstadium, die jeweils auf ein Dreibeinstativ montiert sind, geprüft. Mithilfe dieser Geräte kann die Kamera auf 'kontrollierte Weise' geschüttelt werden. So sind wir in der Lage, das Wackeln einer menschlichen Hand zu imitieren, ohne das die Testwerte durch die Unberechenbarkeit einer menschlichen Testperson verfälscht werden. Die Erschütterungen durch Gleitschiene und Drehstadium sind vorprogrammiert, so dass sie das Zittern einer menschlichen Hand so akkurat wie möglich wiedergeben. Gefilmt wird bei schwacher und bei hoher Erschütterung, je einmal mit und einmal ohne Bildstabilisator. Hinterher wird mit der Postproduktions-Software Adobe After Effects geprüft, wie sehr sich ein bestimmter Punkt im Testbild bewegt. Die Endnote hängt davon ab, wie gut der Stabilisator des Camcorders die Verwackelungen ausgleichen konnte. Dabei wird größerer Wert auf die Leistung des Bildstabilisators im schwachen Erschütterungsmodus gelegt, weil das dem Zittern einer menschlichen Hand am nächsten kommt.
 

Unser Bildstabilisator-Testsystem (mit einer SLR Digitalkamera dargestellt)

Akkulaufzeit
Das Testverfahren zur Bestimmung der Akkulaufzeit ist sehr einfach – die Aufnahme wird gestartet und wir warten bis der Akku leer ist. Vor Beginn des Tests wird jeder Akku noch einmal voll aufgeladen. Hat der Camcorder ein LC-Display, wird es aufgeklappt, Helligkeit usw. wird automatisch geregelt. Während des Tests werden keine Knöpfe und Tasten gedrückt.

In manchen Camcordern sind die Speichermedien voll bevor der Akku leer ist. In diesem Fall schlie

ßen wir den Camcorder an den Stromkreis an und entfernen den Akku, während wir das Medium (Kassette, DVD, Speicherkarte) auswechseln. Dann setzen wir den Akku wieder ein und setzen den Test fort.

Bei professionellen Videokameras führen wir den Test zweimal durch. Der erste Test ist identisch mit dem eben beschriebenen Verfahren. Im zweiten Test klappen wir das LCD-Display zu und verwenden den Bildsucher. Normalerweise erhöht sich die Betriebsdauer dadurch erheblich.

Die Endnote hängt davon ab, wie lange der Akku im Aufnahmemodus durchhält.