前端教程
当前位置: 主页 > 资讯 > 前端教程
计算机视觉下一个技术拐点?前端成像或将开启“视觉20时代”
发布日期:2023-04-29 阅读次数:

  在日前刚结束的2018 AWE现场,身为眼擎科技CEO的朱继志,满怀激动的下了这么一个结论。

  朱继志说话的语气非常笃定,因为他们的eyemore X42芯片上市不到两个月,就已一路高歌,初露峥嵘。而业内对eyemore X42的看法是:这款全球第一款完全自主研发并正式对外发布的AI视觉成像芯片将“引领AI机器进入视觉2.0时代”。

  既然这款芯片目前在国内甚至全球同领域内属于独一份,好奇之下,我们不禁就和他多聊了几句。

  近几年,人工智能的火热是毋庸置疑的,上到国家两次将其写入政府工作报告,下到雨后春笋般出现的各种AI公司,所有这些都在昭示着一个崭新的人工智能时代即将到来。

  同样的,在众多的AI技术和应用中,计算机视觉是最大的切入点和最具潜力的领域。毕竟,在我们获取的全部信息中,视觉信息的比例达到了80%以上,因此,这将是一个前景无限的市场方向。

  计算机视觉的应用领域几乎涵盖了我们所知的所有行业,自动驾驶、金融风控/交易、安防、新零售、智能手机、机器人......

  国内计算机视觉领域,商汤和旷世算是两只最大的独角兽,而他们于去年上演的融资竞赛更是吸引了无数业内人士的目光:先是2017年7月,商汤科技B轮融资4.1亿美元,接着道10月31日,旷视科技Face++又宣布获得4.6亿美元C轮融资,随后商汤即传出接受阿里15亿元投资的消息......

  不用多说什么,仅从这一连串创纪录的融资金额中,我们就可以感受到计算机视觉在AI界的热度。

  据相关研究报告预计,2018年全球计算机视觉市场规模将达到50亿美元左右,而到2020年,中国计算机视觉市场规模将增长至725亿元,未来前景极为广阔。

  “2016年是AI的概念年,2017年是demo年,2018年是落地第一年。”朱继志认为,在未来的三年内,AI会很快的实现更为广泛的落地应用 。

  “尽管现在整个产业很多技术都还有一些问题,但是其整体架构已经出来了。”朱继志说。

  众所周知的是,目前国内AI视觉领域的科技企业,几乎都在使用传统摄像头,都把焦点集中在对图像的后端处理上。这就导致了一个尴尬的现象:绝大多数的AI公司算法足够优秀,但前端成像技术不过硬,导致实际落地时机器的“眼睛”不能适应外界光线变化,识别效果差的尴尬局面。

  以自动驾驶汽车为例,在诸如车辆经过隧道、对面驶来的车开大灯、夜间红绿灯被道路景观灯遮挡/干扰、夜色漆黑伸手不见五指等等异常情况下,往往会由于识别不准而发生行车事故;

  同样,安防领域也会因为红外黑白画面和逆光的人脸发黑而无法识别、工业检测中会有因为高光和反光导致无法检测的情形等等。

  “在复杂的光线环境下,AI机器获取的图像信噪比会受到极大影响,这是导致市场上AI视觉产品难以落地的最大原因。”朱继志认为,要彻底解决这一难题,关键在于做好AI视觉产品的前端成像。

  要克服AI机器在复杂光线下的图像识别,就要首先解决图像的获取和前端处理。目前,业内主流的解决方案有3种。

  第一种就是我们所熟知的激光雷达,在光线不好的情况下,通过主动发射激光并利用光线反射来获取物体的图像和三维信息。激光雷达的优点非常明显,它可以获得极高的角度、距离和速度分辨率,同时也具有良好的抗干扰能力。

  不过,受限于巨大的体积和昂贵的价格(各类32线线等型号产品,价格动辄数万数十万甚至上百万,虽然在持续降低,但依然不亲民),它正在被边缘化。正如马斯克所说的,“激光雷达就像一根拐杖”。这个比喻很恰当,视觉能力不行的时候,需要依靠激光雷达这样的拐杖,但拿着拐杖却是永远跑不快的。

  剩下的两种方案则都是在相机和成像处理的基础上加以改进。首先是阵列计算相机技术,原理有点类似于蜻蜓、苍蝇等多目昆虫的复眼,通过数个、数十个甚至上百个相机组成的阵列,拍摄出拥有亿级以上像素的动态图像,为AI机器提供视觉支持。

  目前,这一技术尚在研发阶段,受限于体积和供应链的制约,其产品也还处在落地的早期阶段。

  第三种方案,即是眼擎科技所做的,AI视觉前端成像引擎芯片eyemore X42。

  据朱继志介绍说,眼擎所做的这种方式,像人的眼睛一样,核心是把人的眼睛视力弄好——解决AI机器在各种光线下自动适应光线的能力。

  “我们坚信,以后AI机器的眼睛应该和我们人类一样,以后它们的视力一定不会比人眼差,甚至比人眼强。这就是我们创业的初衷,我们要从根本上解决AI的视力问题。”

  关于AI视觉,马斯克曾经提出过“全天候被动光学图像识别”的概念,就是要解决复杂光线,包括弱光、逆光、反光下的精准识别,这也是AI机器要解决的刚需问题。眼擎科技把这种自动适应光线极客公园创新大会上,国内AI视觉成像芯片科技公司眼擎科技正式对外发布“eyemore X42”芯片。据悉,eyemore X42是全球第一款完全自主研发并正式对外发布的AI视觉成像芯片。

  eyemore X42芯片有三个特点:首先它是一颗独立成像芯片。目前各种相机、智能手机、摄像头里都有成像功能,但都是被集成在主芯片里面的,只能叫集成成像。而eyemore X42整颗芯片只专注于一件事情,那就是成像。这有点像Intel的CPU带了集成显卡功能,但我们知道,只有像NVIdia的专用GPU才一定是未来的主流。

  第二个特点,eyemore X42抛弃了传统的ISP成像架构,采用了全新的成像引擎架构,来解决复杂光线下的成像难题。而传统的ISP,从架构上来讲,无论如何也无法完美解决复杂光线的问题。

  “如果你问所谓的微光会微到什么程度?这个很简单,我们有一个基本的标准,就是和人眼比,我们就是要超越人眼”,朱继志说到。

  人眼的视网膜里有大约1.25亿个视杆细胞和视锥细胞,它们扮演感光器的角色。其中,视杆细胞感知光线的明暗,而视锥细胞负责感知颜色。到光线的明暗达到一定程度(过亮或过暗)的时候,视锥细胞就停止工作,转而切换到视杆细胞,因此这时人眼就只能感受到黑白的灰度,暂时失去了感知颜色的能力。

  “我们现在做的事情是比人眼18个DB的八倍,在那种情况下。所以,在人眼看不清颜色、只能看清轮廓的情况下,我们能够精准的还原颜色。”

  我们很难想象的到,一个机器超越人眼之后可以做些什么。高维视觉和低维视觉相比,具有无可比拟的优越性。

  比如看到一朵花,我们看到的只是白色的,但机器看到的是五颜六色的,因为可能有100种白。这就是机器进步的核心能力,能够看到更多的信息,所以能够给出更精准的反馈。

  随着AI技术的进一步发展和应用的持续扩大,各种由AI芯片驱动的机器/设备持续出现,使得AI已经越来越呈现出实体化的趋势。“得益于人工智能的广泛应用,目前已经形成了一个很大的技术生态。在这个庞大的生态海洋里,AI机器这个新的物种已经开始进化出来,这些AI机器将会迅速进入我们的现实世界。”朱继志说。

  AI机器区别于一般机器的最大特点是,它不是一个普通的工具,它自己有大脑。我们可以把自动驾驶、机器人、包括工艺检测设备、智能的安防摄像头/门禁/锁具等等,都看做一个AI的机器。

  另一方面,从信息时代发展到如今的AI时代,竞争核心已经从加工制造工艺/硬件设备性能的竞争,升级为算力和算法的比拼。由此,作为算法和算力承载的芯片,就成了当今时代最大的竞争焦点。

  “AI机器这个新物种,就是被各种芯片所驱动的。在比拼算法和算力的时代,一个AI机器所需要的芯片的数量,也就是芯片的密度,会呈现数量级的增长。”

  以目前突然蹿红的比特币为例,其挖矿的设备——矿机,就是芯片的需求大户。在一个普通的矿机里,就会有几十到数百颗处理器芯片,而这个在以前是不可能想象的。

  除此之外,基于万物互联场景下的自动驾驶汽车,它的视觉系统、路径规划系统、车内温度调节、对外通讯通信等等,每一个独立的处理单元都至少需要一颗芯片;同样的还有各种机器人、各种无人机、安防监控、无人超市......

  朱继志认为,以后一台AI机器对各种各样的芯片的需求,会有成百上千个。在视觉2.0的内因驱动下,各类AI芯片的大规模应用时代已然来临,AI机器这个新物种,将为AI芯片开辟一个庞大的新增市场。

  在汽车领域,一台自动驾驶的汽车,将会安装10个视觉摄像头;在安防领域,所有的监控摄像头,都面临着人脸识别的升级;在工业设备领域,通过视觉的方式进行产品的检测,将会成为每一条产线的标配,以后每一条产线个智能摄像头;在无人零售,如Amazon go正在把关注的重点从商品的标签迁移到每个顾客的消费习惯,它的每家无人零售店都配置了超过100个以上的摄像头。

  据不完全预测,未来5年内,各种各样的AI机器将会带来100亿数量级的视觉设备需求,而视觉芯片的需求量将高于这个数字。

  通过芯原FLEXATM 技术实现了低功耗、低延迟和低DDR带宽的图像质量升级2022年9月6日,中国上海 - 领先的芯片设计平台即服务(Silicon Platform as a Service,SiPaaS®)企业芯原股份今日宣布推出创新的人工智能图像增强AI-ISP技术,可为智能手机、汽车电子、工业物联网等应用提供超越传统计算机视觉技术的先进的图像增强效果。芯原的AI-ISP技术创新地将公司业已获得市场广泛应用的可扩展、可编程的神经网络处理(NPU)技术,以及已通过ISO 26262和IEC 61508功能安全标准双认证的图像信号处理(ISP)技术进行深度融合。其中,高效的NPU技术以极低的功耗为4K视频提供像素级处理,支持自适

  极限,芯原AI-ISP技术带来创新的图像增强体验 /

  发烧友网报道(文/李弯弯)视觉技术最早开始于20世纪60年代,其主要是模仿人类视觉,让计算机或机器人看到物体,到如今计算机视觉已经取得很大进展,不过就研究和开发来说,它还有很大的探索空间。 当今的计算机视觉的子领域大概可以包括:场景重建、目标检测、事件检测、跟踪、目标识别、3D姿态估计、运动估计、视觉伺服、3D场景建模、图像修复等。比如目标检测,具有目标检测的设备可以找到目标,在其周围画出矩形边界框,并确定每个被检测目标的类别,目标检测可以应用于许多不同的行业,包括零售、体育、医疗保健、营销、室内设计、农业、建筑、公共安全、交通等。目标检测是一个复杂的过程,其实现需要经历一定的挑战,比如视角的多样性、变形、遮挡、光照条件、杂乱或有纹

  人工智能 (AI) 和机器学习 (ML) 应用的关键方面之一是图像处理和计算机视觉。随着对 AI 和 ML 应用程序的复杂性和需求的增加,开发用于图像处理和视觉数据分析的高效、尖端工具变得非常重要。e-con Systems 与高通(Qualcomm)合作推出了基于 Qualcomm QCS 处理器的可立即部署的 AI Vision 套件——qSmartAI80_CUQ610,具有强大的 AI 处理能力,因此适用于计算广泛的应用。为了支持生态系统中的互连和外部组件,Qualcomm 视觉套件包括一个基于 e-con Sony STARVIS IMX415 的 4K MIPI CSI-2 摄像头模块、一个基于 Qualcomm® QC

  Arm为智能摄像头提供安全的计算机视觉Arm物联网兼嵌入式事业部副总裁 Mohamed AwadArm物联网兼嵌入式事业部业务拓展副总裁 马健中国有句古话,眼观六路,耳听八方,敏锐的观察和感知能力是人类智慧的基础。传统的摄像头只有感知功能,并不能理解图像所描述的人和事物。计算机视觉利用人工智能(AI)让智能摄像头等设备变得聪明,可以解释和理解图像中发生的事情。通过科技重新打造一个与人眼一样强大的传感器,为计算机执行以往需要人类视觉才能进行的任务,开启了广泛而多样的用例,因此计算机视觉正迅速成为物联网获取真实世界数据并处理数据的最重要方式之一。从计算停车场的汽车数量,到监控零售商店的客流量,或是找出生产线上的瑕疵品,智能摄像头的计算机

  所有移动的事物都将变得自主化。 所有自主化的事物都需要先进的实时感知。NVIDIA这一最新宣布,向ROS开发者社区提供整套感知技术。对于寻求将先进计算机视觉和AI/ML功能纳入基于ROS的机器人应用程序的开发人员来说,这将缩短开发时间并提高性能。Open Robotics将扩展用于NVIDIA AI的ROSOpen Robotics首席执行官Brian Gerkey表示:“随着越来越多的ROS开发人员利用硬件平台,这些平台包含额外的计算功能,旨在减轻主机CPU的负担,ROS正在发展,以更容易有效地利用这些先进的硬件资源。我们与NVIDIA这样的加速计算领导者合作,以及其在人工智能和机器人技术创新方面的丰富经验,将为整个ROS社区带来

  Socionext 在DesignCon 2021展示领先的SoC设计解决方案

  采用高速 5G 网络 SerDes、单芯片 ADC/DAC、先进封装技术、下一代主机接口,计算机视觉 AI全球领先的 ASIC 供应商 Socionext Inc. 于 8 月 17 日至 18 日在圣何塞会议中心举行的年度DesignCon展示其先进的SoC设计。Socionext America Inc.的全套演示将包括112G SerDes,30-120GS/s ADC/DAC,PCIe Gen5,高性能内存和多芯片封装设计解决方案。高速 5G 网络 SerDes/ADC/DAC每条通道高达 112Gbps 的高性能 SerDesIP,用于高性能计算、存储和 400G 网络。超高速Direct RF ADC 和 DAC 技术支

  研究综述英文版

  应用开发

  Cadence 高速电路设计Allegro Sigrity SI/PI/EMI设计指南

  【投票赢双肩包、充电夜灯、50元京东卡】最痛电磁干扰(EMI)问题您来定!

  有奖直播安森美全新 ADAS 电源 IC 提升 ADAS 系统的清晰度及安全性

  大联大友尚集团推出基于CVITEK和SOI产品的网络摄像机(IPC)方案

  摩尔斯微电子和群光电子合作推出全球首款Wi-Fi Certified HaLow物联网安防摄像头

  英飞凌推出业界首款集成AI/ML功能、采用传感器融合技术的智能报警系统

  Intel确认14代酷睿Meteor Lake下半年到来:首发4nm EUV+新架构

  TI 工业月,灵感不设限!深度挖掘工业设计的痛点和难点,读专题填问卷赢好礼!