图像传感器推动嵌入式视觉技术发展

cslehe

#111723#据麦姆斯征询先容，新的成像利用正在发达开展，从“产业4.0中”的合作呆板人，到无人机消防或用于农业，再到生物特点脸部辨认，再抵家庭中的护理点手持医疗装备。呈现这些新利用顺序的一个要害要素是，嵌入式视觉比以往任何时间都更遍及。嵌入式视觉不是一个新观点；它只是界说了一个体系，此中包含一个视觉设置，在没有外部盘算机的情形下把持和处置数据。它已普遍利用于产业品质把持，最为人熟习的例子比方“智能相机”。
比年源于花费类市场经济实用硬件器件的开辟，相较于以往应用电脑的计划，这些器件大幅度减小了资料清单（BOM）本钱和产物体积。举个例子，小型体系集成商或OEM当初可能小批量洽购诸如NVIDIA Jetson的单板机或模块体系；而较大型的OEM则能够直接取得如高通骁龙（Qualcomm Snapdragon）或英特尔（Intel）Movidius Myriad 2 等图象信号处置器。在软件级方面， 市道软件库可能放慢公用视觉体系的开辟速率，减小设置难度， 即使是针对小批量出产。
第二个推进嵌入式视觉体系开展的变更是呆板进修的呈现，它使试验室中的神经收集可能接收培训，而后直接上传四处理器中，以便它可能主动辨认特点，并及时做出决议。
可能供给实用于嵌入式视觉体系的处理计划，对于面向这些高增加利用的成像企业来讲相当主要。图象传感器因为可能直接影响嵌入式视觉体系的效力和计划，因此在大范围引进中有主要脚色，而它的重要推进要素可概括为：更小尺寸、分量、功耗和本钱，英语简称为“SWaP-C”（decreasing Size, Weight, Power and Cost）。
1. 下降本钱相当主要嵌入式视觉新利用的减速推进器是满意市场需要的价钱，而视觉体系本钱恰是实现这请求的一个重要制肘。
1.1 节俭光学本钱
减藐视觉模块本钱的第一个道路是缩小产物尺寸，缘由有两个：起首是图象传感器的像素尺寸愈小，晶圆即可以制作更多的芯片；另一方面传感器能够应用更小更低本钱的光学组件，两者都可能下降固有本钱。比方Teledyne e2v的Emerald 5M传感器把像素尺寸减小至2.8μm，让S口（M12）镜头可能用于五百万像素全局快门传感器上，带来直接的本钱节俭──入门级的M12镜头的价钱约为10美元， 而较大尺寸的C口或F口镜头本钱是其10到20倍。以是减小尺寸是下降嵌入式视觉体系本钱的无效方式。
对于图象传感器制作商来讲，这类下降的光学本钱对计划有另一个影响，由于个别来讲，光学本钱越低，传感器的入射角越不睬想。因而，低本钱光学须要在像素上方计划特定的位移微透镜，以弥补来自广角的畸变和聚焦光。
1.2 传感器低本钱接口
除了光学优化，传感器接口的抉择也直接影响视觉体系的本钱。MIPI CSI-2接口是实现节俭本钱的最适合抉择（它最初是由MIPI同盟为挪动行业开辟的）。它已被大少数ISP普遍采取，并已开端在产业市场采取，由于它供给了一个从NXP、Nvidia、高通公司或Intel等公司的低本钱的片上体系（SOC）或模块上体系（SOM）的集成。计划一种存在MIPI CSI-2传感器接口的CMOS图象传感器，无需任何旁边转换器桥，直接将图象传感器的数据传输到嵌入式体系的主机SOC或SOM，从而节俭了本钱和PCB空间，固然，在基于多传感器的嵌入式体系（如360度全景体系）中，这一上风更加凸起。
不外这些利益遭到一些限度，由于MIPI接口的衔接间隔限度为20cm，这在传感器间隔主机处置器较远的近程设置中可能不是最好的。在这些设置中，以就义小型化为价值，应用集成更长接口的相机板处理计划是比拟好的抉择。一些现成的处理计划能够集成，比方产业相机制作商（如Flir、AVT、Basler等）的相机板平日可在MIPI或USB3接口中应用，后者可能到达的范畴能够超越3米至5米。
1.3 减小开辟本钱
在投资新产物时，一直回升的开辟本钱常常是一个挑衅；它可能会在一次性开辟费上破费数百万美元，并给上市时光带来压力。对于嵌入式视觉，这类压力变得更大，由于模块化（即产物是否切换应用多种图象传感器）是集成商的主要斟酌。荣幸的是，通过在传感器之间供给必定水平的穿插兼容性，比方，通过界说同享雷同像素系统构造的组件系列以存在稳固的光电机能，通过存在共用光学核心来同享单个前端机制，以及通过兼容的PCB组件来简化评价，集成和供给链，从而减小开辟用度。
为简化相机板计划（即便用于多款传感器），有两种方式计划传感器封装。针脚对针脚兼容是相机板计划职员的首选计划，由于它能使多种传感器同享统一电路和把持，使得组装完整不受PCB计划影响。另一个抉择是采取尺寸兼容的传感器，如许统一PCB能够应用多款传感器，然而这也象征着他们可能要敷衍每一款传感器的接口和布线的差别状态。

图1 图象传感器可经计划供给针脚兼容（图左）或尺寸兼容（图右）以实现专有PCB规划计划
2. 能效供给更佳独自任务才能
微型电池驱动的装备是最显明的受益于嵌入式视觉的利用顺序，由于外部盘算机禁止任何便携式利用顺序的产生。为了下降体系的能耗，图象传感器当初包括了多种功效，使体系计划者可能节俭电力。
从传感器角度动身，有多种方式减小嵌入式视觉体系功耗而不损收集帧率。最简略的方式是通过尽可能长时光应用待机或闲置形式，在体系级最小化传感器自身的静态操纵。待机形式通过封闭仿真电路，把传感器的功耗下降到任务形式的10%以下。而闲置形式则可把功耗减半，并让传感器在数微秒内从新启动获得图象。
而在传感器计划集成节能的另一个方式是采取进步光刻节点技巧。技巧节点越小，转换晶体管所需的电压便越小，因为功耗与电压成正比，如许就能下降功耗。以是10年前应用180nm技巧出产的像素不但把晶体管缩小到110nm，同时也把数字电路的电压从1.9伏降到1.2伏。下一世代的传感器将应用65nm技巧节点，使得嵌入式视觉利用更省能。
最后一点是，通过抉择适合的图象传感器，能够在某些前提降落低LED灯的能耗。有一些体系必需应用自动照明，比方三维舆图天生、举措停留、或是纯洁应用次序脉冲指定波长来进步反差。在这些情况下，减低图象传感器在低亮度情况下的噪声便能实现更低的功耗。减小了传感器噪声，工程职员即可决议减小电流密度强度，或是减小集成进嵌入式视觉体系的LED灯数量。 在其余情形下，当图象捕捉和LED闪耀由外部变乱触发时，抉择恰当的传感器读出构造能够明显节俭电能。 应用传统卷帘快门传感器，帧全暴光时LED灯必须全开，而全局快门传感器则容许只在帧的某部分开动LED灯。以是如应用像素内相干双采样（CDS）利用下，以全局快门传感器替换卷帘快门传感器便可以节俭照明本钱，同时仍坚持与显微镜中应用的CCD传感器一样低的噪声。
3. 片上功效为利用顺序计划的视觉体系摊平了途径
嵌入式视觉的一些偏锋延展观点，领导咱们对图象传感器停止片面定制，以3D重叠方法集成全部处置功效（芯片上的体系） 以实现优化机能和功耗。不外，开辟这一类产物的本钱非常昂扬，可能到达这一集成程度的全定制传感器久远来讲并非完整弗成能，而当初咱们正处于一个过渡阶段，包括将某些功效直接嵌入到传感器，以减省盘算负载和放慢处置时光。
比方在条形码浏览利用，Teledyne e2v公司已具有专利技巧，将包括一个专有条形码辨认算法的嵌入式功效加进传感器芯片，这算法能够找出每一帧幅内的条形码地位，让图象信号处置器只要聚焦于这些范畴，进步数据处置效力。

图2 Teledyne e2v Snappy五百万像素芯片，主动辨认条形码地位
另一个增加处置负载和优化“精良”数据的功效是Teledyne e2v的专利疾速暴光形式，该形式使传感器可能主动校订暴光时光，以防止照明前提变更时呈现饱和。 这项功效优化了处置时光，由于它顺应了单帧中光照的稳定，并且这类疾速反映最大限制地增加了处置器须要处置的“坏”图象的数目。
这些功效平日是特定的，须要很好地舆解客户的利用顺序。只有对利用顺序有充足的懂得，便可以计划多种其余片上功效来优化嵌入式视觉体系。
4. 减小分量尺寸以共同最小利用空间
嵌入式视觉体系的另一重要请求是可能共同狭窄空间，或是分量要小，以便用于手持式装备/或延伸电池推进产物的任务时光。这就是当初大部分嵌入式视觉体系应用只有1MP到5MP的低辨别率小型光学格局传感器的缘由。
减小像素芯片的尺寸只是减小图象传感器占位面积和分量的第一步。当初的65nm工艺让咱们可能把全局快门像素尺寸减小至2.5μm而不损光电机能。这类出产工艺使得诸如全高清全局快门CMOS图象传感器可能共同手机市场请求小于1/3英寸的规格。
减小传感重视量和占位面积的另一重要技巧是缩小封装尺寸。芯片级封装在从前数年在市场敏捷生长，在挪动、车载电子和医疗利用中特殊显明。相较用产业市场常用的传统陶瓷（Ceramic Land Grid Array，简称CLGA）封装，芯片级扇出封装可能实现更高密度衔接，因此是嵌入式体系图象传感器轻量化小型化挑衅的杰出处理计划。比方Teledyne e2v的Emerald 2M图象传感器芯片级封装，侧高只是陶瓷封装的一半，而尺寸则减小30%。

图3 统一芯片采取CLGA封装（图左）和晶圆级扇出无机封装（图右）的比拟，后者可能增加占位、厚度和本钱
瞻望将来，咱们预期新的技巧能进一步实现嵌入式视觉体系所需的更小传感器尺寸。
三维客栈是让半导体器件出产的翻新技巧，它的道理是在差别晶圆上制作种种电路芯片，而后应用铜对铜衔接和过硅通孔（Through Silicon Vias，简称TSV）技巧停止客栈和互联。三维客栈由于是多层重迭芯片，容许器件实现比传统传感器更小的占位尺寸。而在三维客栈传感器中， 读出和处置芯片能够置于像素芯片和行译码器的下方。如许，传感器的占位尺寸因缩小的读出和处置芯片而减小，而且能够在传感器中参加更多处置资本以减小图象信号处置器的载荷。

图4 三维芯片客栈技巧有助于实现像素芯片、仿真和数字电路，乃至是用于专门利用的附加处置芯片组合重迭，减小传感器面积
不外，要让三维客栈技巧在图象传感器市场取得普遍利用，当初还面临着一些挑衅。起首这是一个新兴的技巧，其次是它的本钱较高，由于须要附加的工艺步调，使得芯片本钱比应用传统技巧的芯片高三倍以上。由于三维埋迭将重要是高机能或十分小占位尺寸的嵌入式视觉体系的抉择。
总结而言，嵌入式视觉体系能够演绎为一种「轻量」视觉技巧，能够用于包含OEM、体系集成商和尺度相机厂商等差别范例企业。“嵌入式 “是一个可用于差别利用的概括性描写，因此不能开出列表阐明它的特点。不外优化嵌入式视觉体系有几个实用法令，就是个别而言，市场推进力并非来自超等快的速率或超高的敏锐度，而是尺寸、分量、功耗和本钱。图象传感器是这些前提的重要推手，以是须要谨慎抉择适合的图象传感器，以便于优化嵌入式视觉体系的整体机能。适合的图象传感器能为嵌入式计划职员带来更多机动性，节俭资料清单本钱，减小照明和光学组件的占位面积。它也让计划职员在无需面临更多庞杂性的情形下，抉择来自花费市场的大批经济实用并存在优化深度进修功效的图象信号处置器。
更多内容阅读推荐：冰箱抽屉怎么清洗