Pole tekstowe: Architektury Sprzętowe dla Wieloźródłowego Audiowizualnego Kodowania Czasu Rzeczywistego

 

 

Projekt w ramach programu „Lider” prowadzonego przez  Narodowe Centrum Badań i Rozwoju (NCBiR ).

 

Miejsce Projektu: Politechnika Warszawska, Wydział Elektroniki i Technik Informacyjnych

Kwota finansowania: 997824 PLN

Czas trwania 01.08.2011-31.07.2014 (36 miesięcy)

 


 

Kierownik Projektu: Dr inż. Grzegorz Pastuszak


Celem projektu było opracowanie i prototypowa implementacja systemu kodowania audiowizualnego działającego w czasie rzeczywistym i obejmującego generację wielo-widokowej mapy dysparycji. Praktycznym efektem projektu jest sprzętowa aplikacja uruchomiona na platformie FPGA demonstrująca w czasie rzeczywistym kompresję wielokanałowego dźwięku i wielo-widokowego video wraz z estymacją dysparycji. Cyfrowa część systemu jest zintegrowana w jednym układzie FPGA. Sprzętowe przyspieszanie i nowe architektury kodera pozwalają na większą wydajność kompresji audio-video w porównaniu z istniejącymi rozwiązaniami. Dokładna estymacja dysparycji wielo-widokowej wspomaga kompresję video i obliczanie mapy głębi potrzebnej w rekonstrukcji sceny 3D.

 

Ścieżki projektowe podzielone zostały na cztery etapy obejmujące opracowanie sprzętowo zorientowanych algorytmów, specyfikację VHDL, weryfikację i implementację w FPGA. Ostatnim krokiem projektowym była integracja całego sprzętu i oprogramowania w jeden system czasu rzeczywistego.

Opracowanie nowych architektur kodowania dźwięku i video zostało oparte na wynikach wcześniejszych projektów realizowanych w Zakładzie Telewizji Instytutu Radioelektroniki PW. Kompresja wizyjna została zrealizowana z użyciem uproszczonego kodera H.264/AVC, którego elementy były sukcesywnie zastępowane swoimi bardziej wydajnymi wersjami opracowanymi w ramach projektu. W szczególności były to:

           zaawansowany wybór trybu w oparciu o analizę stopień kompresji - zniekształcenia (rate-distortion),

           adaptacyjna estymacja i kompensacja ruchu i dysparycji,

           wielo-widokowa kontrola przepływności o małym opóźnieniu,

           wielo-widokowe kodowanie binarne.

Na bazie kodera jedno-widokowego zbudowany został wielo-widokowy wykorzystujący korelacje między materiałem uzyskanym z wielu kamer. Analiza i implementacja była przeprowadzona przy użyciu narzędzi CAD stosowanych do projektowania układów scalonych. Projektowane moduły są zweryfikowane przy pomocy programowych modeli referencyjnych. Implementacje działają na specjalnych płytach uruchomieniowych wyposażonych w układy FPGA.

 

Wyniki prac projektowych zamiszczone zostały w szeregu publikacjach:

1. G. Pastuszak, „Video Compression from the Hardware Perspective,” chapter in: Constantin Volosencu (ed.), “Cutting Edge Research in New Technologies,” pp. 233-256, Intech, 2012.  

2. G. Pastuszak and M. Jakubowski, “Hardware Implementation of Adaptive Motion Estimation and Compensation for H.264/AVC,” Picture Coding Symposium (PCS), pp. 369-372, Kraków, 7-9 May 2012.  

3. A. Abramowski and G. Pastuszak, “A VLSI Architecture for Intra Prediction for a HEVC Decoder,” New Trends In Audio and Video / Signal Processing Algorithms, Architectures, Arrangements and Applications, pp. 233-237, Łódź, 27-29 September 2012.  

4. M. Roszkowski and G. Pastuszak, “Using Harris Corner Points to Reduce the Complexity of a Local Stereo Image Matching Algorithm,” New Trends In Audio and Video / Signal Processing Algorithms, Architectures, Arrangements and Applications, pp. 221-226, Łódź, 27-29 September 2012.  

5. G. Brzuchalski, M. Wieczorek, “Low-Delay and Ultra-Low-Delay coding in MPEG-4 AAC,” 11th IFAC/IEEE International Conference on Programmable devices and embedded systems (PDeS), pp 44-49, May 2012.  

6. A. Abramowski, “An FPGA Architecture for MPEG-2 TS Demultiplexer ,” Proc. SPIE 8454, Photonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments 2012.  

7. G. Brzuchalski, “ ,” Proc. SPIE 8454, Photonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments 2012.  

8. M. Roszkowski, “Stereo matching with superpixels,” Proc. SPIE 8454, Photonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments 2012.  

9. M. Wieczorek, “Bitrate estimation for P-frames in rho domain,” Proc. SPIE 8454, Photonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments 2012.  

10. M. Jakubowski and G. Pastuszak, “Block-based motion estimation algorithms - a survey”, Opto-Electronics Review, vol. 21, no. 1, pp. 86-102, 2013.  

11. G. Pastuszak and M. Jakubowski, ”Adaptive Computationally-Scalable Motion Estimation for the Hardware H.264/AVC Encoder”, IEEE Transactions on Circuits and Systems for Video Technology, vol. 23 no. 5, pp. 802-812, May 2013.  

12. G. Pastuszak, G. Brzuchalski, M. Roszkowski, A. Abramowski, M. Wieczorek i J. Naruniec; „Zintegrowany System Kodowania Źródłowego dla Zdalnej Kontroli Audiowizualnej,” Przegląd Telekomunikacyjny i Wiadomości Telekomunikacyjne, SIGMA NOT, vol. LXXXVI. No. 6 (2013), str. 563-566.  

13. A. Abramowski, G. Brzuchalski, G. Pastuszak, M. Roszkowski, M. Wieczorek i J. Naruniec; „Zintegrowany System Dekodowania Źródłowego dla Zdalnej Kontroli Audiowizualnej,” Przegląd Telekomunikacyjny i Wiadomości Telekomunikacyjne, SIGMA NOT, vol. LXXXVI. no. 6 (2013), str. 559-562.  

14. M. Jakubowski; „Implementacja sprzętowa adaptacyjne estymacji ruchu dla kodera standardu H.264/AVC,” Przegląd Telekomunikacyjny i Wiadomości Telekomunikacyjne, SIGMA NOT, vol. LXXXVI. no. 6 (2013), str. 221-224.  

15. G. Brzuchalski and G. Pastuszak, “Energy Balance in Advanced Audio Coding Encoder Bit-distortion Loop Algorithm,” Photonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments / Romaniuk Ryszard ( red. ), vol. 8903, 2013.  

16. G. Pastuszak, “Quantization Selection in the High-Throughput H.264/AVC Encoder based on the RD,” Photonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments / Romaniuk Ryszard ( red. ), vol. 8903, 2013.  

17. M. Roszkowski ,„Disparity map estimation using image pyramid,” Photonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments / Romaniuk Ryszard ( red. ), vol. 8903, 2013.  

18. M. Wieczorek, “Bitrate estimation for P-type frames in rate control process,” Photonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments / Romaniuk Ryszard ( red. ), vol. 8903, 2013.  

19. A. Abramowski and G. Pastuszak, “A Novel Intra Prediction Architecture for the Hardware HEVC Encoder,” 16th Euromicro Conference on Digital System Design, pp. 429-436, Sept. 2013.  

20. G. Pastuszak and M. Trochimiuk, “Architecture Design and Efficiency Evaluation for the High-Throughput Interpolation in the HEVC Encoder,” 16th Euromicro Conference on Digital System Design, Sept. 2013.  

21. M. Roszkowski and G. Pastuszak, “Intra Prediction for the Hardware H.264/AVC High Profile Encoder,” vol. 76, no. 1, pp. 11-17, July 2014.  

22. Grzegorz Pastuszak, "FPGA architectures of the quantization and the dequantization for video encoders," 17th International Symposium on Design and Diagnostics of Electronic Circuits & Systems (DDECS), pp. 290-293, Apr. 2014.  

23. Andrzej Abramowski & Grzegorz Pastuszak, "A double-path intra prediction architecture for the hardware H.265/HEVC encoder," 17th International Symposium on Design and Diagnostics of Electronic Circuits & Systems (DDECS), pp. 27-32, Apr. 2014.  

24. Mikołaj Roszkowski & Grzegorz Pastuszak, "FPGA design of the computation unit for the semi-global stereo matching algorithm," 17th International Symposium on Design and Diagnostics of Electronic Circuits & Systems (DDECS), pp. 230-233, Apr. 2014.  

25. G. Brzuchalski, “Fast Huffman encoding algorithms in MPEG-4 Advanced Audio Coding,” Photonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments / Romaniuk Ryszard ( red. ), vol. 9290, 2014.  

26. M. Roszkowski, “Optimization of semi-global stereo matching for hardware module implementation,” Photonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments / Romaniuk Ryszard ( red. ), vol. 9290, 2014.  

27. M. Trochimiuk & A. Abramowski, “Hardware-oriented simplifications of the prediction algorithms in the H.265/HEVC encoder,” Photonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments / Romaniuk Ryszard ( red. ), vol. 9290, 2014.  

28. M. Wieczorek, “Combined P-type frames bitrate estimation,” Photonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments / Romaniuk Ryszard ( red. ), vol. 9290, 2014.  

29. M. Roszkowski, G. Pastuszak, “Analiza wymagań pamięciowych dla podstawowej jednostki obliczeniowej w sprzętowej implementacji algorytmu dopasowania stereo typu „semiglobal”, Elektronika, numer 3, vol. 55, str. 38-41, marzec 2014.  

30. A. Abramowski, G. Pastuszak, “Architektura sprzętowego modułu predykcji wewnątrzramkowej dla standardu H.265/HEVC,” Elektronika, numer 3, vol. 55, str. 49-52, marzec 2014.  

31. M. Wieczorek, G. Pastuszak, „Estymacja przepływności bitowej ramek typu P w kodowaniu wideo,” Elektronika: konstrukcje, technologie, zastosowania, numer 3, vol. 55, str. 46-48, marzec 2014.  

32. G. Pastuszak, „Implementacje FPGA modułów kwantyzacji i dekwantyzacji w sprzętowych koderach wideo,” Elektronika: konstrukcje, technologie, zastosowania, numer 3, vol. 55, str. 31-35, marzec 2014.