DSO.ai
由人工智慧驱动的设计应用
瞭解更多 →
人工智慧(础滨)如何赋予低解析度影像新生命
本文原文由张贴
英文原文：
在设计數位電視之"類的應用時，您會希望能盡可能提供最清晰、最生動的影像。但有時無法盡如人意，會出現解析度不夠的情況。例如，為了保留頻寬，必須以較低的解析度將視頻串流傳輸到顯示器，然後放大素材以符合顯示器的要求。幸運的是，隨著人工智慧(AI)和深度學習處理功能的出現，圖像處理技術已有長足的進步，能幫助您滿足圖像質量的要求。在這篇部落格文章中，我將討論AI和深度學習如何通過改善圖像質量來強化視覺應用。
視覺應用包含廣泛的領域，從稍早討論過的數位電視範例到遊戲、數位相機、遠距感測和和多功能印表機(MFP)等。為能在符合人們預期的情況下運作，這些應用程序都需要能提供高品質的影像，並且在許多情況下，這些影像需要即時處理及傳送。「數據處理不平等」(Data Processing Inequality)的概念明確指出，如果資訊本身並不存在，則無法將其添加到影像中。因此，當從像素顆粒明顯的影像開始著手時，只有少數的影像處理軟件工具可以執行；這也是為何需要全新等級的影像處理的原因。
更快速、更精準的影像处理
一旦经过训练，可提供相對有效的方式來增強影像。 CNN早在1980年代就出現，但直到2000年代應用在GPU後，才真的成為強大的圖像處理工具。神經網絡經過訓練，就會一直有效，它可被訓練成能識別任意類別，而無需為每個新參數進行額外編碼。
多年来，深度学习和神经网络演算法已经发展為包含超解析度神經網絡(super-resolution neural networks)，可使圖像放大8倍甚至16倍，以获得更清晰、更生动的效果。由於基於学习的演算法已经针对非常广泛的数据集进行了训练，因此擅长缩放图像和恢復分辨率。他们知道如何运用训练集中的数据来补足原始影像中遗失的数据。
在GPU和CPU上執行影像處理神經網絡適用於不需要即時影像結果的應用，例如某些電子遊戲(video games)或舊電影修復。假設有一個增強實境遊戲之"類的應用程序，需要即時提供和顯示高解析度影像，同時還要從另一個來源獲取數據集；在這樣的情況下，某些GPU和CPU缺乏處理能力，無法提供即時結果。動態影像或視頻放大應用程序(尤其是那些使用超解析度神經網絡的應用程序)需要專用的神經網絡處理器。理想情況下，這種處理器應提供：
- 快速的效能
- 低功耗
- 小面积
- 可扩充性
- 支援各种神经网络图的灵活度
靈活的低功耗視覺处理器滨笔核(IP Cores)
新思科技在顿别蝉颈驳苍奥补谤别?础搁颁?贰痴嵌入式视觉处理器系列中，針對嵌入式視覺應用提供了完整可編程和可配置的IP核。 這些內核結合軟體的靈活性与硬體的低成本和低功耗，整合成另一可供選擇的高性能深度神經網絡(DNN)加速器，可快速準確地執行CNN。由於這個加速器適用於各種神經網絡，因此它可以執行任何神經網絡影像以及客製影像。
与京瓷文檔解决方案公司的合作是視覺處理器系列最近的成功案例。京瓷最近使用帶有CNN引擎的DesignWare ARC EV6x嵌入式視覺处理器滨笔和DesignWare ARCMetaWare?EV開發工具套件，讓其新型MFP SoC。京瓷透過处理器滨笔獲取高性能AI處理能力，例如超高解柝度，以及支持未來AI模型的靈活性。該公司使用了基於新思科技贬础笔厂?贵笔骋础的原型系统，加快ARC EV軟件的開發、SoC集成和系統验证。京瓷的TASKalfa 3554ci系列MFP SoC是業界首個具有AI功能，可支援按需超高解析度印表機的MFP SoC。
京瓷文檔解决方案公司軟件開發部總經理Michihiro Okada表示，將高級AI功能整合到我們的MFP SoC中需要具有高質量工具鏈的高性能、低功耗处理器滨笔，這使我們能夠在開發SoC的同時找到並測試AI演算法。只有新思科技的 DesignWare ARC EV处理器滨笔和成熟的MetaWare EV Toolkit才能滿足我們針對靈活性、性能、準確性和面積的要求。
下圖顯示了京瓷使用DesignWare ARC EV处理器滨笔可以實現的影像增強效果。
总结
隨著視覺應用市場的持續增長，對生動、清晰影像和視頻的需求只會增加。具有完整CNN引擎的視覺处理器滨笔可以提供高性能、低功耗和靈活性，讓原本可能是模糊或馬賽克化的影像呈現更出色的效果。