Verlag des Forschungszentrums Jülich
JUEL-4149
Ziel dieser Arbeit ist, die Tauglichkeit der FPGAs auf Einsatz in der Bilddatenreduktion zu untersuchen,
welche Anforderungen an die Ressourcen bestehen und wieviel externe Logik und Speicher für eine Realisierung
notwendig ist. Um den unterschiedlichen Systemanforderung nachzukommen, wird die Arbeit in
drei Bereiche unterteilt. Im ersten Abschnitt werden FPGAs am Bildsensor betrachtet, die über keinen zusätzlichen
Speicher verfügen. Der nächste Abschnitt beschäftigt sich mit FPGA-basierten Framegrabbern,
für die ein zusätzlicher Speicher in der Mindestgröße eines erfassten Bildes typisch ist. Der letzte Bereich
deckt das Gebiet der industriellen Datenreduktion ab, bei der für den Algorithmus und dessen Hardware-
Implementierung andere Grenzgrößen berücksichtigt werden müssen.
Im ersten Abschnitt werden bekannte Implementierungen von punkt- und bitorientierten Algorithmen
zur Bilddatenreduktion untersucht. Darunter fallen die (verlustbehaftete) Lauflängencodierung, die Huffman-
Codierung und die arithmetische Codierung. Es kann gezeigt werden, dass diese Verfahren für eine
Echtzeitbildverarbeitung im FPGA nicht geeignet sind, da entweder die gewünschte Reduktionsleistung zu
gering ist, die resultierende Bildqualität zu schlecht ist oder der Datendurchsatz für spezielle Anwendungen
nicht ausreichend ist. Die arithmetische Codierung ist wegen ihrer hohen Komplexität in Hardware eher
selten anzutreffen; erst neuere Veröffentlichungen [107,86] präsentieren eine Hardware-Realisierung. In
dieser Arbeit wird eine verbesserte binäre adaptive Version gezeigt, die mit einem Bit pro Takt operiert.
Sie ermöglicht zudem eine Implementierung von Standards, die die arithmetische Codierung verwenden, in
Echtzeit. Mit einem speziell für den Hardware-Einsatz und auf der Zweipunkt-Projektion basierenden Verfahren
kann die Limitierung des Datendurchsatzes nach oben (auf ca. 580 MByte/s) verschoben werden.
Eine erste Umsetzung des verlustfreien JPEG-LS Standards schließt diesen Abschnitt ab.
Für FPGA-Systeme mit externem Speicher werden blockorientierte Verfahren betrachtet. In dieser Gruppe
haben sich Implementierungen [26,16] des JPEG Standards als sehr effizient und erfolgreich etabliert.
Trotzdem sind diese Ansätze unzureichend bezüglich Geschwindigkeit und Reduktionsqualität, vor allem
wenn eine hohe Kompressionsleistung erwünscht ist. Diese werden durch neue Hardware-Implementierungen
verbesserter Verfahren behoben, z.B. die bislang wegen Ressourcenmangels nicht implementierbare
Vektorquantisierung (ca. 44 MByte/s, 4 x 4) und eine Realisierung der Wavelet-Codierung mittels
Embedded Zerotree Wavelets (ca. 23 MByte/s) . Abschließend wird eine Hardware-Umsetzung des neuen
JPEG 2000 Standards betrachtet, der aufgrund der komplexen Bit-Plane-Codierung [166] mit nur ca.
6 MByte/s arbeitet, aber im Vergleich zum alten JPEG eine bessere Qualitäts- und Kompressionsleistung
erzielt.
In der industriellen Bildverarbeitung sind verlustbehaftete Verfahren, deren hohe Reduktionsleistung im
Wesentlichen auf psycho-visuellen Techniken beruht, eher unerwünscht . Um trotzdem hohe Kompressionsraten
zu erhalten, werden in dieser Arbeit zwei spezielle Lösungsansätze der anwendungsorientierten
Datenreduktion vorgestellt . Diese überzeugen nicht nur durch einen hohen Datendurchsatz (ca. 32 - 50
MByte/s), sondern erlauben auch eine kostengünstige Implementierung auf FPGAs.
Die aufgeführten Resultate bezüglich des Zeitverhaltens und des Ressourcenverbrauchs zeigen, dass Datenreduktion
in Echtzeit durch den Einsatz von FPGA-Bausteinen möglich ist. Die bislang aufgrund ihrer Komplexität nicht in Hardware implementierbaren Verfahren führen auch beim Einsatz von PCs zu hoher
Auslastung. Für beide Architekturen ist durch neue Hardware in absehbarer Zeit eine Verbesserung zu
erwarten. Der bislang von ASICs dominierte Bereich kann durch den Vorteil der Reprogrammierung für
diverse Einsatzgebiete neue Möglichkeiten für FPGAs eröffnen.
The aim of this work is to examine the fitness of FPGAs in the field of image data compression and to determine which resource requirements exist and how much external logic and memory are necessary for a realization. To meet the various system requirements, the work is subdivided into three parts.
In the first section FPGAs in combination with an image sensor, which has no dedicated memory added, will be inspected. This limits the choice to point and bit oriented algorithms. An improved binary adaptive arithmetic encoder can be presented that operates with one bit per clock.This implementation enables image
compression standards to run in real time. A special hardware adapted algorithm based on the two-point projection was designed to exceed the data troughput up to approx. 580 MByte/sec. The first hardware implementation of the lossless JPEG-LS standard completes this section.
The next section deals with FPGA based frame grabbers where additional memory is presented and typical in the minimum size of an acquired image. This external memory allows the use of block oriented algorithms, as e.g. the vector quantization (approx.44 MByte/sec, 4 x 4), which was long time not possible due to the high resource requirements. Another improvement is the realization of Wavelet coding by means of Embedded Zerotree Wavelets (approx.23 MByte/sec) and the new JPEG 2000 image compression standard. The latter operates with only approx.6 MByte/sec because of the complex bit-planer coder used.
The last section covers field of industrial image data reduction, where other limitations for the algorithm and the hardware implementation must be taken into account. For such applications algorithms based on psycho-visual techniques are not wanted. To get still high compression results, two special application-oriented solutions are introduced in this work. They have a high throughput (approx.32 - 50 MByte/s) and allow a cost-efficient implementation by low resource requirements.
The presented results regarding the time response and the resource consumption show that image data reduction is possible in real time using FPGAs. Algorithms not implemented in hardware till now due their high complexity uses also a PC to full capacity. For these two architectures an improvement can be
expected in the near future by ongoing hardware development. The application fields dominated by ASICs can reveal new possible areas for FPGAs by their advantage of reprogramming.
Dillinger, Peter H.
Einsatz von FPGA Prozessoren als Datenreduktionshardware in der Bildverarbeitung
152 S., 2004
FPGAs sind reprogrammierbare Bausteine und ermöglichen die Beschleunigung von spezifischen Problemen
durch hardwarenahe Anpassung . Viele Framegrabber und einige digitale Kameras verfügen über einen
FPGA. Für solche Systeme ist es ein interessantes Feature, die Bilddaten zu reduzieren, um die Übertragungsstrecke
zwischen Kamera und Rechner kleiner dimensionieren zu können und den Transfer über
den PC-Bus zu minimieren. Die Flexibilität von FPGAs erlaubt darüber hinaus die Änderung oder Anpassung
des eingesetzten Reduktionsverfahrens entsprechend der Kapazität des Übertragungskanals oder
der erforderlichen Bildqualität . Die Fähigkeit, neue Kompressionsstandards durch eine Reprogrammierung
zu übernehmen, sowie die Datenreduktion für relativ große Bilder in Echtzeit (≥ 30 fps) durchführen zu
können, machen FPGAs in diesem Anwendungsgebiet interessant.
FPGAs are reprogrammable logic devices and make the acceleration of specific problems possible by a very close hardware adaption. Many frame grabbers and some digital cameras have an FPGA installed. For such systems it is an interesting feature to reduce the amount of image data to minimize the transmission link
between camera and computer and the data transferred over the PC bus. Besides, the flexibility of FPGAs allows to change or adapt the data compression method according to the capacity of the communication channel or the required image quality. The ability to establish new compression standards simply reprogramming FPGA, as well as to be able to compress large pictures in real time (≥ 30 fps) makes in this application field most interesting.
Neuerscheinungen
Schriften des Forschungszentrums Jülich
Ihre Ansprechperson
Heike Lexis
+49 2461 61-5367
zb-publikation@fz-juelich.de