高通在 2022 Snapdragon 高峰会主题演讲公布新一代旗舰平台 Snapdragon 8 Gen 2後，也针对平台在多个领域的特色进行专场深度探讨，笔者也从中选择对消费者体验与 2023 年新旗舰机特色功能较显着的部分进行介绍，第一篇是针对 Snapdragon 8 Gen 2 相机影像技术 Snapdragon Sight 的进化进行解说。

从单镜头一帧到 3 镜头 30 帧与 6 层分层处理的 Snapdragon Sight 演进史

▲高通 Snapdragon 845 之前只能控制单镜头、单次输出一帧讯号

▲ Snapdragon 845 导入双 ISP 可同步控制双相机与处理 6 帧资讯，也开启智慧手机以多帧强化影像的时代

▲ Snapdragon 855 承袭 Snapdragon 845 的影像技术，但加入立体深度资讯与结合机器视觉的 ISP

▲ Snapdragon 865 升级为 14bit ISP 与支援 8K 影像录制

▲ Snapdragon 888 导入 3 ISP ，可同时控制三镜头

▲ Snapdragon 8 Gen 1 升级到 3 个 18bit ISP ，能一次处理高达 30 帧影像

▲ Snapdragon 8 Gen 2 可将处理完的影像透过语意识别拆解成 8 层，并针对不同主题的层次进行影像增强

高通的 Snapdragon Sight 技术自 Snapdragon 845 开始进入技术变革， Snapdragon 845 打破以往仅能控制单镜头、一次处理一帧的限制，借助双 ISP 可一次控制双镜头与处理 6帧影像，也因此开启多帧技术的延伸应用如杂讯消除与 HDR 等； Snapdragon 855 则把电脑视觉与 ISP 结合，同时以双镜头产生立体深度资讯，使手机能借助深度资讯分辨主题与背景； Snapdragon 865 将双 ISP 提升至 14bit ，并具备 8K 影像录制能力； Snapdragon 888 再把 ISP 提升至 3 个，能一次控制最多 3 个镜头，也能提供符合规格的三镜头的无缝切换；至於前一代 Snapdragon 8 Gen 1 打破以往只能处理六帧限制，一口气能处理达 30 帧影像，使多帧合成能够更细致；最新的 Snapdragon 8 Gen 2 在 Snapdragon 8 Gen 1 的 Snapdragon Sight 技术基础升级为 3 个 18bit ISP ，同时可将处理後的影像透过语意分析拆解成最多 6层并进行处理，对手机的软体定义相机是相当革命性的进展。

▲借助 Hexagon DSP 与 Spectra ISP 直连升级为全新认知影像讯号处理器

▲借助语意分析可将照片拆解为多层的元素，并针对不同元素的特质进行增强处理

Snapdragon 8 Gen 2 的 Snapdargon Sight 透过称为 Hexagon Direct 的技术，使具备 AI 运算的 Hexagon DSP 不用经过CPU 直接与 Spectra ISP 相通，能将 AI 介入即时影像辨识，在处理完前端 30 帧影像的合成处理後，可透过语意分析的方式拆解影像的元素，最多可分为 6 个图层，藉由拆解出不同特质的图层加入最佳化处理，再将图层进行合并，使照片不再是套用单一的影像增强方式，使照片中的人、景、物甚至是五官、头发等都以最合适的方式进行影像增强处理。

与 Sony 、三星在感光元件深度合作

▲ Snapdragon 8 Gen 2 支援 Sony 最新的 QDOL4 四重曝光 HDR 技术并针对元件进行最佳化

▲借助四种不同的曝光进行合成，实现更出色的 HDR 色彩过渡

▲ Sony 强调接下来的 LYTIA 感光元件品牌产品也将与高通 Snapdragon 携手进行最佳化

▲三星是继 Sony 之後第二家与高通进行元件最佳化的品牌，第一款最佳化元件是200MP 元件 ISOCELLHP3

Sony 半导体解决方案部门在 2021 年的 Snapdargon 峰会宣布与高通 Snapdragon 深度合作，由 Sony 技术人员进驻高通实验室，针对 Snapdragon 平台特性与元件特性进行调整，使元件能够发挥其最大效能； Sony 代表 Michiki Mikuriya 也在此技术说明登台解说双方合作的成果，此次公布两款具备 Sony 新一代四重曝光 HDR 技术的 Sony IMX800 QDOL4 1/1.5″ 元件与 Sony IMX989 QDOL4 1″ 元件已与 Snapdragon 8 Gen 2 进行最佳化，其 QDOL4 四重曝光 HDR 技术是借助元件在一帧时间捕捉四种不同曝光的影像後进行合成，使 HDR 的对比与细节更为细腻，同时也预告 Sony 感光元件新品牌 LYTIA 的新产品也将与高通深度合作；另外， Sony 在感光元件的主要竞争对手三星也藉此次 Snapdragon 峰会宣布成为第二家针对 Snapdragon 进行元件最佳化调整的感光元件供应商，三星已将最新的 200MP 元件 ISOCELL HP3 与 Snapdragon 8 Gen 2 进行最佳化调整。

藉由 Sensing Hub 整合 AI 处理器使相机具备高隐私权的事件导向的触发功能

▲藉由在 Sensing Hub 整合 AI 处理，手机镜头能以特定事件进行触发但同时保有高度安全性

Snapdragon 8 Gen 2 此次在 Sensing Hub 导入双 AI 处理器，不仅增强语音助理功能，更使 Snapdragon 8 Gen 2 成为全球第一款具备事件导向影像感知的应用处理器，此技术可藉由相机与管控感测器的Sensing Hub 达到元件的 Always Sensing ，使相机侦测到特定事件後进行唤醒，如对准餐厅菜单 QR Code 不须唤醒整支手机也能开启较无隐私争议的线上菜单进行点菜，或是在前相机镜头侦测到後方有他人试图观看当前手机持有者的个人隐私相关画面时关闭或是调暗手机萤幕保护个人隐私，同时这些用於唤醒相机功能的影像资料既不会上传到云端也不会存入手机的空间，在事件完成後即从快取删除。

即时散景模拟现在可模拟多种光圈与光圈形状效果

▲ Boken Engine 2 现在可模拟多种光圈效果与多种光圈形状产生的效果

高通先前即在 Snapdragon Sight 加入名为 Bokeh Engine 的硬体型背景虚化处理技术，借助景深与人物辨识後进行即时背景虚化，并模拟专业相机产生的即时大光圈背景虚化； Snapdragon 8 Gen 2 将背景即时虚化技术升级到 Boken Engine 2 ，能够模拟更多种光圈大小(如 f1.4 与 f2.0 的效果就不同)的散景效果，还可模拟不同光圈叶片形状对背景光源产生的效果。

纪录更多资讯细节的 Pro Sight 影像编码

▲ Pro Sight 相较标准 HEVC 高出 5 倍编码率

同时为了提供更出色的影像细节以及进行专业影像後制，高通还在 Snapdragon 8 Gen 2 提供称为 Pro Sight 的专业影像编码，相较当前主流的 HEVC 提供 5 倍的编码率，可带来更多的细节、更低的杂讯，减低影像人工後制的效果，并可进行电影级的专业编修。

与 Google 合作使第三方软体也能享受 Snapdragon Sight 的各项新技术

▲透过与 Google 深度合作，使影像 app 开发者也能轻松取用 Snapdragon Sight 的多项技术

过往许多应用处理器的相机技术最大的遗憾是仅限装置原生的相机 app 能够使用，许多第三方影像 app 无法导入这些创新技术，高通有监於此与 Google 深度合作，提供全新的 API使第三方影像 app 也能发挥 Snapdragon Sight 的多项特色，如在视讯直播软体套用其中的 Bokeh Engine 创造美丽的散景效果，或是为直播应用导入 Snapdragon Sight 的影像稳定技术。