智能眼镜论文文献

智能眼镜，也称智能镜，是指“像智能手机一样，具有独立的操作系统，智能眼镜可以由用户安装软件、游戏等软件服务商提供的程序。智能眼镜可通过语音或动作操控完成添加日程、地图导航、与好友互动、拍摄照片和视频、与朋友展开视频通话等功能，并可以通过移动通讯网络来实现无线网络接入的这样一类眼镜的总称”智能眼镜是指如同智能手机一样拥有独立的操作系统，可以通过软件安装来实现各种功能的可穿戴的眼镜设备统称。它是最近几年被提出而且是最被看好的可穿戴智能设备之一。其具有使用简便，体积较小等，特点公众普遍认为智能眼镜的出现将会方便人们的生活，因此它得到了谷歌，微软等重点研发，被视为未来智能科技产品的重要增长点。眼动跟踪即是对眼睛的注视点或者是眼镜相对于头部的运动状态进行测量的过程。谷歌眼镜能够通过眼动跟踪技术感知到用户的情绪，来判断用户对注视的广告的反应。眼动跟踪原理用于智能眼镜的眼动跟踪测量技术主要是基于图像和视频测量法，该方法囊括了多种测量可区分眼动特征的技术，这些特征有巩膜和虹膜的异色边沿、角膜反射的光强以及瞳孔的外观形状等。基于图像、结合瞳孔形状变化以及角膜反射的方法在测量用户视线的关注点中应用很广泛。 眼动跟踪缺陷虽然眼睛是身体当中接收信息最广和最快的方式，但眼动跟踪却离人性化的交互方式有很大差距。由于眼睛本身存在固有的眨动以及抖动等特点，会产生很多的干扰信号，可能会造成数据的中断，这样会导致从眼动信息中提取到准确数据的难度大大升高。

2012年，谷歌推出了其首款增强现实（AR）智能眼镜Google Glass，大大激发了大众对增强现实的兴趣。 其后，AR产业迅速迎来了一波发展高潮，却又很快“黯然失色”。生产工艺进展缓慢、终端成本居高不下等诸多难题的制约，使得AR产业很难真正走进大众生活中。 2014年，研究生毕业于北大的郑昱，一直坚信AR行业的光明前景，他将目光瞄准AR设备。“最受欢迎、最自然的交互方式一定是让设备适应人”，在这“灵光一闪”的想法驱使下，郑昱创立灵犀微光团队，致力于打造一款“如同普通眼镜一般方便易用”的AR眼镜。 研发方向上，灵犀微光团队决定聚焦AR设备瓶颈技术——光学显示，主攻核心器件光学引擎。通过打造小巧的光学引擎模组，使得“方便易用”的AR眼镜成为可能。 2014年底，郑昱成立北京灵犀微光 科技 有限公司，至今已累计获得多轮投资。最近的一次是2019年5月，舜宇V基金领投、中关村启航基金跟投的数千万元A+轮投资；此前，灵犀微光曾于2017年获得红杉中国领投的千万元级A轮投资；于2016年获得东方富海领投，和君资本VR产业基金、西部资本跟投的千万元级Pre-A轮投资；2015年8月获得和君资本300万元天使轮投资。 目前，灵犀微光已为多个知名品牌提供核心技术。公司旗下光波导方案AW60，采用LCOS 像源，可以做到36 视场角， 镜片厚度。基于此，已有多个AR设备厂商开发出“如普通眼镜一般”的AR眼镜。而公司最近研制出的，世界上最小AR光学模组AW70S也已经进入量产阶段。 AR与虚拟现实(VR)的近眼显示系统都是将显示器上的像素，通过一系列光学成像元件形成远处的虚像并投射到人眼中。 不同之处在于，AR眼镜需要透视，既要看到真实的外部世界，也要看到虚拟信息，所以成像系统不能挡在视线前方。这就需要多加一个或一组光学组合器，通过“层叠”的形式，将虚拟信息和真实场景融为一体，互相补充，互相“增强”。 2014年，还在北大读研究生的郑昱，偶然看到2年前发布的谷歌眼镜。他敏锐察觉到虚拟、显示融合显示的巨大前景，但在查阅了谷歌眼镜的相关资料后，郑昱失望地发现，这与他想象中的AR眼镜相去甚远。 AR眼镜的基本要求是，既要看到真实的外部世界，也要看到虚拟信息。而彼时的谷歌眼镜只能通过镜框右上方的小格子（处理器装置），“眼睛要往右上角瞄”，视野较窄，且既不方便又笨重。 “一定程度上讲，Google Glass给了我启发。通过洞察其发展中存在的缺点与弊端，我认识到了更有价值的内容和AR眼镜最终所应有的形态。”郑昱认为，在AR产业链中，AR眼镜是呈现出的最终产品形态。 之所以，大部分消费者还不能完全接受AR眼镜，很重要的一个原因就是，光学显示系统还不能够满足大部分人所能接受的体积与形态，不能提供良好的显示效果，这为灵犀微光团队指明了方向。 从普通用户的视角来看，无限接近普通近视镜、墨镜形态和舒适度的设备，最可能成为消费级AR眼镜的爆发点。 郑昱带领灵犀微光开始研究业内出现的多种方案，他发现“无论是自由曲面、反射式离轴，还是棱镜方案，几乎都存在或体积较大、或视场角较小、或显示效果不尽人意等缺点”。相比之下，光波导技术由于轻薄与外界光线的高穿透特性特点，几乎是消费级AR眼镜的“绝佳”光学方案。 于是，灵犀微光将研发方向锁定在AR设备光学显示，主攻核心器件——光学引擎，亦即AR眼镜的“CPU”。 新技术的问世并非一蹴而就，需要经历漫长的孕育期。 在灵犀微光团队决心为AR眼镜研发光波导方案时，全球范围内仅有极少数公司在此方向有一定研究。因而，对于灵犀微光团队而言，所有的研发与生产几乎都是“从零开始”。 郑昱回忆，当年AR企业数量屈指可数，整个展厅就我们一家做AR而且做光波导。当时的产品能实现32 视场角，形态已经比较小巧，在那一个时间点已能颠覆了不少人对AR技术固有的“悲观”认知。 不过，虽然彼时的灵犀微光在技术上已经具有一定优势，但依然在生产端面临着诸多难题。 “光波导技术之所以受到重视，主要是因为它具有高穿透、轻薄的特点。但是，光波导技术能做到这两点并不简单。光波导技术的流程是：在光机完成成像过程后，“波导”将光耦合进自己的玻璃基底中，通过“全反射”原理将光传输到眼睛前方再释放出来。 这带来了三大难点：耦入部分体积难以缩小、光波导固有明暗条纹的问题、光波导采用全新工艺量产难度大。 然而，灵犀微光团队坚持 探索 、不断打破常规思维模式，诸多创新型解决方案应运而生。团队于2017年研发出光波导方案AW60：采用LCOS 像源，做到36 视场角， 镜片厚度。较大程度地缩小了耦入模块体积，比业界顶尖企业Lumus体积上缩小一半；2018年，灵犀微光又在AW60基础上进一步改良，推出的AW61解决了明暗条纹的问题，在对比度和光能利用率上也有明显的提升。 为了解决“三大难点”中仅剩的全新工艺量产问题。灵犀微光团队再次“别出心裁”：“光波导是一项新技术，寄希望于仍采用传统工艺的光学制造厂商显然不明智。所以，我们深度参与到工艺研发流程，在一些关键工艺点实现了突破，并在全球范围内率先实现低成本量产光波导镜片。” 2019年，灵犀微光开始谋划生产基地的选址，上下游产业链齐全的无锡很快进入了灵犀微光团队的视野，在调研过程中，无锡制造业精益、高效的理念深深吸引了郑昱，在无锡市政府和高新区的大力支持下，灵犀微光的生产基地落户无锡留学人员创业园并于2019年底建成投产，成为全球首条规模量产AR光波导镜片中试线，标志着AR市场进入量产化竞争阶段：由单纯的市场AR显示技术“门派之争”，升级为产研一体化、综合量产实力的内核竞争。 而早在一年之前，不断改进生产工艺的灵犀微光已经率先实现了光波导显示模组更大规模的批量生产，进一步降低了成本。 近年来AR行业的发展，颇有些曲折。从快速兴起到黯然沉寂，而后又随着巨头的推动下宣传力度渐渐回升。 但灵犀微光却没有受到太多影响，既不浮躁、也不消极，而是一直保持着较好的节奏。郑昱表示，硬件尤其是光学器件方面，和互联网公司不一样，它的节奏是稳步推进并不是突然爆发。“我们从最初的光学设计，到打样、原型机评审、效果评测，以及后续的加工优化、小批量试产，每一个流程都必须完整、细致”，但这并不意味着闭门造车，“产品研发的同时，一定要及时跟进客户和市场的反馈，保证公司与市场需求的节奏也能一致。” 通过与客户在研发阶段即深度融合、及时联动，灵犀微光几乎能确保最终的量产产品“正是客户想要的样子，甚至超越预期”。 而灵犀微光保持良好节奏的背后动力，则来源于持续学习、拓展视野。“创业最常见的状态，便是迎来新的问题、接受新的知识，得出新的解决方案”，郑昱回忆起创业之路，“从刚开始原型机开发，到小批量量产、第一批投放市场，每一个阶段几乎都是全新的阶段。为了少犯错误、跑的更快，团队需要保持开放的心态，不断与团队、客户交流，向最懂行的人学习，问题最终会迎刃而解。” 此外，“拓展全局视野，也十分重要。”郑昱表示，“AR作为新兴产业，尤为需要全产业链的协作配合，方能加速迎来产业爆发”。作为AR产业上游供应商之一，灵犀微光自创立之日起，始终贴近终端市场消费者的需求进行光学核心显示器件研发，从而帮助中下游AR设备设计、集成、制造商开发出真正有市场的产品。 目前，搭载灵犀微光相关技术解决方案的AR产品，已在诸如 游戏 、视频、翻译与信息提示、高铁维修、残障辅助、人脸识别与拍摄、军工等诸多场景中实现了落地应用。 尤其是面对突发的疫情，灵犀微光携手合作伙伴，研发出红外智能测温眼镜，既能实现传统红外测温摄像头的自动测温功能，还可预设体温阈值，当检测到体温异常时，眼镜将发出警报，启动人脸识别功能，记录人员身份信息，方便追踪发热人员的运动轨迹。同时结合 AR远程通讯与协作系统，形成多终端联动，打造防疫排查的坚实防线。2020第一季度该产品已经签订数千套订单。 此外，率先落地于某地公安的智能安防AR眼镜，与国内某聋哑人设备企业合作发布的世界第一款听障AR眼镜，可为高铁维修实现远程指导、辅助检修的设备均在2020年实现数千套出货量；灵犀为外卖小哥定制的AR头盔也即将推向市场...... 创业以来，郑昱已经习惯了资本市场、舆论环境对于AR行业“忽冷忽热”的常态。在他看来，无论外界看法如何改变，对创业者而言最重要的一件事便是保持初心、稳步前进，“唯有踏踏实实地行动，才能真正为这个世界创造价值”。 而在未来，灵犀微光也将持续“作为一家 科技 创新公司，做更多的技术创新工作并把它普及开来，贡献出改变世界的力量。”作者：创客公社 施润

之前有说到AR行业近十年来的创业史，细数从2011年国内AR先驱蓝斯特到如今2020年风头正盛的Nreal、影创等，十年来，AR的发展似乎并没有我们想象中那么快。 而最近似乎AR界又多了几个新秀。不过这个暂时不在本次的讨论范畴。 在谈到任何一款电子设备产品的性能和配置时，芯片是会被首当其冲谈论的，而CPU则更加是重中之重。 尽管在普通人的眼里，AR仍然没有太大起色，但从CPU的角度来看，这些年的AR变化，值得一提。 那么，我们这次也捋了捋十年间AR设备所搭载的CPU变迁。 上面这个表格所展示出来的是到目前为止所使用的处理器，可以看到除了最开始的Google Glass1代和CoolGlass分别使用TI处理器和君正处理器以外，其他CPU都是由高通提供的。从这也可以看到高通的技术仍然处于全球前列，不止是手机，高通仍然霸占了AR行业CPU的一席之地。 此外，从上图中可以得出一个很明显的信息，随着设备的不断更迭，不同的设备采用的CPU型号也越来越新，能够实现更多的AR效果。 最开始的Google Glass1，也是我们所说的AR界鼻祖，尽管在推出的一开始受到了许多人的极力反对，并且Google Glass本身并没有达到最初的预期，因此这款设备并没有在当时掀起太大的浪花。 但对整个AR行业，从AR发展史来说，Google Glass的出现无疑是一个里程碑，并且从那以后，我们看到了AR设备的不断推陈出新。作为行业先锋，Google Glass是合格的。 Google Glass1采用的处理器是TI OMAP4430，它是开放式多媒体应用平台芯片（OMAP）。这些芯片属于称为芯片上系统的微芯片的更大分类。这意味着有多个组件协同工作-在这种情况下，是一个基于ARM的微处理器，视频处理器和一个内存接口。根据德州仪器（TI）的规格，该芯片能够以1080p分辨率和每秒30帧的速度播放视频。 根据官方datasheet看出，采用双核A9架构，最多支持200万像素的照片，也就是它的视频传输只能做到VGA的程度，可能最基本的远程协助都是问题。 Cool Glass / 君正M200 CoolGlass在之前整理的资料中有提到过，也就是奥图科技所发布的CoolGlass，其外形与GoogleGlass极其相似，根据官方资料，在2014年的情况下，CoolGlass支持800万摄像头及720P的视频拍摄，包括搭载了最新的骨传导技术。其M200在当时来说也算是不错的CPU选择。 根据官方datasheet看出，采用MIPS双核，最多支持720P视频录制。这款CPU主要应用在低功耗的可穿戴手表等场景产品，不符合AR眼镜大运算量趋势，因此淘汰也是必然的。 2015年，继Google Glass后，微软Hololens1的发布成为了AR史上又一座里程碑。 Hololens有一个自家定制的全息处理单元（HPU），这款定制芯片的强大之处在于可以处理和交互不同传感器及Intel Atom的数据串流。HPU拥有24颗Tensilica DSP核心，每秒处理1万亿指令。 此外，Hololens拥有4个了解环境的摄像头，分别是惯性测量单元、环境光传感器、环境感知摄像头、深度感知摄像头，主要是为了完成空间映射；200万像素高清摄像头，则是为了拍摄视频和照片。 以及还搭载了4个麦克风，用于语音识别。 整体579克的重量，Hololens的横空出世似乎给了我们另一种AR的可能性。 根据官方datasheet看出，这款CPU基本上没什么特色，而且X86架构在移动计算就注定要淘汰；如果不是有自研的HPU，估计hololens也不会是独孤求败的状态。Epson BT-300于2016年上半年推出，实际上在300之前，还有100和200这两款产品，但直到300，才算是一款比较成熟的眼镜。包括到目前为止，如果想要低门槛了解AR，Epson BT-300仍然是性价比最高的产品。 实际上Epson BT-300所搭载的Intel Atom 5和Hololens1所搭载的Intel X5性能基本上不差上下，但上面提到了微软自研的HPU实际上才是老大哥的地位，所以Epson BT-300只能实现最基本的AR。但即便如此，性价比依旧是最高的。 枭龙1 / 高通410 枭龙科技2015年成立，2016年就推出了运动骑行眼镜XLOONG，这是一款专门针对于运动领域的智能眼镜，款眼镜设计的初衷是能够解决骑友在运动过程中解放双手与数据近眼显示的需求，同时，它具有四大核心功能：拍照&摄像、数据显示、导航、蓝牙电话。 0Glass作为AR工业领域的领先者，在2017年推出的0Glasses Pro2，是国内首款墨镜式双目一体机，和枭龙运动骑行眼镜一样，采用的是高通410，拥有强大的运算速度，运行更稳定，视频读取速度更快，基于这样的特点，更适合工业领域使用。 根据官方datasheet看出，这款CPU最高支持1300W像素的单摄像头， 没有什么太惊艳的地方。站在当时的角度，一方面想要将硬件产品做到最轻便但又想实现各种花式功能，可以说是非常矛盾了。究竟是极致硬件阉割功能来换取轻便，还是像Hololens一样堆上各类硬件实现所有功能？这是一个取舍的问题。 亮风台的G200于2016年推出，这款设备在当时来说，性价比还算不错，但四年过去，亮风台似乎并没有紧接着的更新迭代。官网展示的仍然还是这款G200。 根据官方datasheet看出，这是高通支持沉浸式VR，并支持双摄像头，也就是可以实现SLAM。到这里我们可以看到，随着CPU的不断更迭，有一些功能逐渐可以实现了。并且从820开始，高通以肉眼可见的速度开始加大对XR领域的支持。 联想做硬件出身，AR这种前沿行业必定少不了它的身影，联想晨星G1在2017年推出，支持手势、语音交互和SLAM，在当时来说，G1这款设备算是不错的选择。 根据官方datasheet看出，821是820的增强版本，尤其针对可穿戴设备。高通在这个版本放出VR-SDK，结合参考设计，硬件厂商可以设计出不同的智能眼镜。 继820之后，821对于XR的支持空前增强，所以我们能看到晨星G1的表现在当时来说已经非常亮眼了。 尽管开头有说到Google Glass1在当时引起很多争议，但Google并没有放弃对AR领域的探索，2018年推出的Google Glass2就是证明之一，与此同时，和Hololens一样，Google开始把重心瞄向了企业市场。 根据高通官网提供的资料，明确提到了AR体验及支持3DoF和6DoF，并且对于视觉处理的支持力度日渐增加，更重要的是VIO技术的使用。实际上XR1和835没有太大差别，现在很多市面上的VR一体机搭载的也是XR1。 影创在2018年推出的Action One。和联想晨星一样，当时很多眼镜的外观设计都和Hololens看齐，就如同当年那么多模仿Google Glass的眼镜一样。Action One搭载高通835，支持手势及语音交互，视场角能达到45度。在图像呈现方面，能够保证无畸变。 之前有提到过太平洋未来这家公司，也是近年来的AR新秀，2018年推出的am glass搭载的是高通835的CPU，太平洋未来主要切入的是C端市场，最出名的当属欢乐谷项目。 根据官方datasheet看出，835强化了在VR的能力，并支持扩展到AR。双路1600万像素的相机，这就为什么看到国内MR眼镜都至少有2个摄像头，双鱼眼摄像头实现6DOF，提供AR沉浸式体验。  继Hololens1发布三年后，微软并没有闲着，而是在这三年间不断优化，于2018年推出了Hololens2，相比1代，视场角提升两倍，手势识别的能力也有显著提升，很多细微的差别都能够识别。 这款设备于2018年推出，搭载高通骁龙845处理器，视场角高达55°，配备了三颗摄像头，可以实现6DoF追踪，分辨率达到了1920*1080，并且设备配有主动散热，SLAM很稳。 Nreal和太平洋未来同属近年来的AR新秀，Nreal Light包含一个RGB摄像头、两个SLAM摄像头、一个空间传感器及一个距离传感器。这款设备和之前有所不同，是与智能手机连接的。整体来说，Nreal Light的表现算是目前市场上比较优秀的了。   G2是联想晨星团队继G1后的硬件产品，在G1的基础上进行了很多优化的工作，支持手势、语音交互，SLAM效果相比G1也有很大提升。唯一的不足可能就是价格稍贵，但G2比起其他设备，在三维重建、SLAM等方面的优势还是比较明显的。 总的来说，随着时间不断推进，CPU的性能不断提升，我们可以看到硬件厂商所推出来的设备也能实现越来越多的AR甚至是MR功能。比如说Epson BT-300只能实现简单的AR，但基本上搭载高通835和高通845的机型，基本上都能实现MR效果，并且有部分机型能够实现三维重建。 科幻，正在一步步变成现实。 最后，如果在文中有任何纰漏，欢迎指正，也欢迎各位行业内外的小伙伴提出更多意见，一起讨论。 AR圈子 kaiya带你看AR～