Bereits im November wurde RAISR von Google vorgestellt, mittlerweile, so berichtet das Unternehmen, wird die Technologie beim Dienst Google+ auf über eine Milliarde Bilder wöchentlich angewandt.
Das Ziel: Der Abruf von Bildern im Netz soll schneller laufen, das Volumen an übermittelten Daten soll reduziert werden. Wie das grundlegend funktioniert, verdeutlicht wohl am besten das oben gezeigte Bild: Statt das Originalfoto in seiner vollen Fläche abzurufen, fragt Google+ nur nach einem Viertel der Pixel. RAISR nimmt das verbliebene Pixelhäufchen und stellt das Gesamtbild zur Ansicht wieder her.
Schneller als andere Super-Resolution-Methoden
Im Prinzip ist RAISR in der Lage umzusetzen, was auch andere sogenannte Super-Resolution-Verfahren können, nämlich aus gering aufgelösten Bildern qualitativ hochwertigere Versionen zu erstellen.
Im Vergleich zu vorher existierenden Methoden seien die Ergebnisse mindestens ebenso gut. Allerdings, so führt Google in der Detailbeschreibung zur Technologie an, arbeite RAISR zehn bis hundertmal schneller, sodass der Algorithmus auf mobilen Geräten geschmeidig in Echtzeit ablaufe. Überdies verhindere RAISR, dass Alias-Effekte, die in den gering aufgelösten Bildern eventuell vorkommen, in den generierten Versionen reproduziert werden.
Auch gebe es bereits Verfahren zur Skalierung von kleinen Bildern auf größere, die ebenfalls flott ablaufen. Diese beruhen jedoch im Wesentlichen auf einer linearen und damit eher simplen Pixelauffüllung. Grob gesagt, finden solche Methoden in ihrer Nachbarumgebung blaue Pixel, werden beim Aufskalieren entsprechend ähnlich blaue Pixel zusätzlich gesetzt, um Raum zu gewinnen. Schnell und effektiv – aber die Ergebnisse seien eher verwaschen und von einer Verbesserung des Bildes könne keine Rede sein.
Fotos skalieren mir RAISR – das steckt dahinter
Maschinenlernen. Was sonst wäre wohl hier zu erwarten. Im konkreten Fall bedeutet dies, dass die Algorithmen unter Verwendung von zwei Versionen eines Bildes angelernt werden: die eine ist von geringer Qualität, die andere bringt die höhere Qualität mit sich.
Beim Abgleich beider Varianten werden vor allem die vorgefundenen Kanteneigenschaften in kleinen Bereichen der Bilder betrachtet. Zur Analyse stehen dabei Aspekte wie Helligkeit und Farbverlauf oder die Frage, ob es sich eher um eine flache oder stärker texturierte Region handelt.
Hieraus resultieren drei Parameter: (1) Die Richtung gibt den Winkel einer Kante an. (2) Die Stärke bezieht sich auf die Schärfe einer Kante, wobei schärferen Kanten eine größere Stärke zugeordnet wird. (3) Die Kohärenz spiegelt wider, wie gerichtet (also geradlinig) der entsprechende Kantenverlauf ist.
Beim Vergleich von 10.000 hoch und niedrig aufgelösten Bildern (das dauert übrigens nur eine Stunde) ergaben sich dabei für Kanten die im Bild dargestellten Filter: Von links nach rechts dreht sich die Kante einmal um 180 Grad. Von oben nach unten nimmt die Gerichtetheit der Kanten zu, zudem wird dreimal bei der Kantenstärke angesetzt.
So eigne sich beispielsweise der Filter unten in der Mitte am besten für eine schnurgerade, starke, horizontale Linie.
Bildquelle: Google Research (Original im Artikel: "RAISR: Rapid and Accurate Image Super Resolution" von Yaniv Romano, John Isidoro und Peyman Milanfar
Bilder radikal komprimieren, um sie dann wieder aufzubereiten
In der Praxis wendet RAISR die am besten geeigneten Filter aus dem angelernten Repertoire auf die Nachbarschaft eines jeden Pixels in dem gering aufgelösten Bild an und generiert somit eigentlich nicht existente, neue Details.
Für den aktuell angeführten Einsatz im Netz wurde RAISR nun offensichtlich etwas zweckentfremdet. Anstelle für eine nette Wiedergabe eines Fotos von geringer Qualität zu sorgen, nimmt sich RAISR stattdessen jene mit hoher Qualität, also entsprechend hohem Datenverbrauch vor. Wie oben bereits angeführt, werden zum Beispiel nicht die 100 kB des hinterlegten Originals abgerufen, sondern nur 25 kB, die dann mithilfe von RAISR aufgepeppt werden.
Im Prinzip wird damit das Bild bei erheblichem Detailverlust zunächst radikal komprimiert, aufs Handy übertragen und dort per Algorithmus wieder hergestellt. Inwiefern dabei Original und Ansichtsversion übereinstimmen … nun, das bleibt offen.
Aktuell legt RAISR Hand an hoch aufgelöste Fotos, die in Streams auf Android-Geräten auftauchen. Die erforderliche Gesamtbandbreite, alle betreffenden Nutzer eingeschlossen, konnte so um circa ein Drittel verringert werden. In den kommenden Wochen wolle man die Technologie nun auch auf andere Bereiche anwenden, um so noch mehr Zeit und Datenvolumen einzusparen.
Die Links zum vertiefenden Nachlesen:
- Google-Bericht über den Einsatz von RAISR
- Detail-Bericht zu RAISR
- zum vollständigen Artikel der Forscher Yaniv Romano, John Isidoro und Peyman Milanfar
Euer Jens
Bildquelle Vorschau und Titel: Google
