基于AVFoundation的iPhone自定义相机开发：从计算摄影到手动控制

“一键出片”和“控制出片”是两种完全不同的相机哲学。绝大多数 iPhone 用户用的是原生相机它追求的是按下快门就得到一张好看照片但对于另一部分创作者来说原生相机真正需要被“修复”的地方恰恰是“它替你做的决定太多了”。Camera Sun 正是这样一类项目它试图解决 iPhone 相机 App“自动处理过度、参数不可控、工作流不透明”的问题。这篇文章不评价它的最终成品而是从 iOS 相机管线的底层切入搞清楚一个第三方相机 App 到底能改变什么、改变不了什么以及你想自己做一个类似应用时技术路径该怎么走。1. 为什么有人说 iPhone 相机 App 需要被“修复”很多人的真实感受是iPhone 拍出的照片放大之后皮肤纹理不见了天空暗部被强行提亮树叶边缘出现锐化白边。这些现象并不是传感器“拍错了”而是计算摄影在后台完成了大量自动修改。从 iPhone 11 系列开始苹果把 Smart HDR、Deep Fusion、夜间模式等能力逐步铺开。这套管线的核心逻辑是系统在极短时间内拍摄多张不同曝光照片利用 ISP 和神经引擎进行像素级融合再输出一张“系统认为最好”的照片。这套逻辑有两个直接后果第一用户没有关闭它的权利。原生相机 App 没有提供“关闭深度融合”或“关闭智能 HDR 风格”的开关用户只能接受系统的审美判断。第二照片结果不可逆。JPEG、HEIC 文件在输出的那一刻已经是“处理完成品”原始传感器信息大量丢失。如果你事后发现肤色被改偏了、曝光提过头了没有后悔药。这不是说计算摄影不好。相反对大部分普通用户而言计算摄影极大降低了拍照门槛。但问题在于一套自动判定算法不可能适配所有人的审美。喜欢胶片质感的人觉得过度锐化拍产品图的人希望色彩绝对中性拍夜景的人想要更长的曝光控制而不是系统一看到暗光就强行“压噪”。所以第三方相机 App 的机会不在于“重新发明相机”而在于“把选择权交还给用户”。Camera Sun 如果是一台真正有想法的新相机它要修复的并不是拍照这个动作而是系统替你做的那些自动决定。2. 智能手机相机管线的基本概念从按下快门到生成照片如果你想做一款能“修复”原生体验的相机第一步是理解 iOS 相机的完整数据链路。在 iOS 开发里这条链路的核心是 AVFoundation。2.1 硬件输入摄像头与传感器iOS 设备的后置摄像头模组通常包含广角、超广角和长焦镜头每个镜头背后对应一个图像传感器。AVFoundation 把这一切抽象成了AVCaptureDevice对象。每一个AVCaptureDevice暴露一组能力比如支持哪些AVCaptureDevice.Format对焦方式focusMode曝光方式exposureMode闪光灯flashMode白平衡whiteBalanceMode原生相机 App 会根据场景自动选择这些参数而第三方相机 App 可以通过 AVFoundation 公开的 API 去修改它们。2.2 会话与数据流AVCaptureSession是整个相机管线的核心调度器。它类似一条“流水线”输入端接上摄像头输出端接上照片数据或视频流中间由预设和配置决定数据格式。AVCaptureSession ├── AVCaptureDeviceInput输入摄像头 ├── AVCapturePhotoOutput输出静态照片 └── AVCaptureVideoPreviewLayer预览2.3 计算摄影在 iOS 中的位置在 iPhone 上照片从传感器到最终文件会经过三个阶段传感器读出原始数据生成 RAW 格式。ISP图像信号处理器进行基础处理去马赛克、降噪、自动白平衡、色彩校正。神经引擎与软件后处理执行场景识别、语义分割、深度融合、HDR 合成。苹果原生相机之所以“自动”是因为第三阶段几乎完全由系统接管。第三方 App 如果用 AVFoundation 拍摄 JPEG依然会经过 ISP 和部分计算摄影管线要拿到未经深度处理的数据只能启用 ProRAW 或 RAW 输出。2.4 原生相机与第三方相机的本质区别对比维度原生相机 App第三方相机 AppCamera Sun 方向自动处理系统全自动用户不可干预可关闭、可调参、可预设参数控制只暴露测光曝光调整ISO、快门时间、白平衡、对焦可手动控制输出格式默认 HEIC/JPEGProRAW 受限可输出 JPEG、HEIC、RAW实时预览只显示处理后的画面可显示直方图、斑马纹、焦点峰值工作流拍照后进相册几乎无元数据管理可自定义保存路径、导出参数、水印信息所以Camera Sun 这类应用要做的不是“拍得更好看”而是“让拍摄者决定什么叫好看”。这正是它和原生相机最根本的分歧点。3. Camera Sun 这类 App 的思路从“帮我拍”到“让我控制”从项目标题看Camera Sun 的定位是修复 iPhone 原生相机 App 的不足。虽然没有公开的完整文档但基于 iPhone 相机长期被吐槽的用户反馈可以推导出它最可能对付的三个问题。3.1 自动处理过度照片失去真实感这是最核心的用户抱怨。很多人希望照片保留真实的环境氛围而不是像原生相机那样在夜间把暗部全部提亮、在逆光下强制 HDR。如果 Camera Sun 要解决这个问题可行的技术方案是提供“计算摄影强度控制”或“预设风格系统”。例如允许用户选择“标准”“自然”“高对比”“低饱和”等风格。在拍摄设置里提供“关闭智能 HDR”“关闭深度融合”等选项。默认输出格式改为 HEIC 加可编辑的 RAW 侧文件。3.2 参数不可控专业用户难发挥iPhone 原生相机的滑动曝光条只有一个效果调整测光偏移。它不会让用户直接设置 ISO 或快门速度。Camera Sun 如果要做“专业模式”技术路径很清楚设置对焦模式为手动锁定。设置曝光模式为自定义曝光传入指定的 ISO 与曝光时间。设置白平衡为自定义色温。实现这些能力并不需要非凡的黑科技AVFoundation 从 iOS 8 开始就提供了对应的 API。真正难的是把这些参数变成普通人也能理解的操作界面。3.3 拍摄过程不够透明用户不知道发生了什么原生相机在按下快门后后台进行了多少次曝光、如何融合、如何降噪用户完全不知道。对于追求精确输出的创作者来说黑盒就是效率杀手。第三方相机可以做的改进拍摄前显示直方图和曝光指示。拍摄后展示当前帧的 ISO、快门、色温、测光区域。允许用户保存完整的 EXIF 元数据甚至在照片上烙上参数水印。我们可以把 Camera Sun 理解成一个“反向工程”它不改变硬件不修改系统级拍照管线而是在 Apple 允许的 API 边界内把原本被隐藏的控制项暴露出来。这决定了它的能力上限它永远无法突破硬件与系统接口的限制但可以在软件层极大改变出片体验。4. 开发准备自定义相机 App 的环境与权限配置想要验证“第三方相机能不能修复 iPhone 相机的体验”跑通一个最小自定义相机是第一步。这里给出完整的环境准备和权限配置。4.1 开发环境操作系统macOS建议使用较新的稳定版本。IDEXcode建议使用官方最新稳定版。调试设备iPhone 真机。iPhone 模拟器不支持完整相机功能部分模拟器甚至没有摄像头所以真机调试是必需的。语言Swift。版本细节以你本机实际安装为准。本文示例主要使用 iOS 15 以上版本仍然稳定的 API通用思路不受系统版本限制。4.2 创建项目并配置权限新建一个 iOS App 项目后先处理 Info.plist。相机、麦克风、相册写入都需要权限声明。打开Info.plist添加以下键值keyNSCameraUsageDescription/key string需要使用摄像头进行拍照/string keyNSMicrophoneUsageDescription/key string需要使用麦克风录制视频如需要/string keyNSPhotoLibraryAddUsageDescription/key string需要保存照片到相册/string这里的原则是“最小权限”如果你的相机 App 只支持拍照不录制视频就不要申请麦克风权限。多申请一个权限就多一分被 App Store 审核拒绝的风险也多一分用户不信任的可能。4.3 权限请求的代码封装iOS 会在首次调用相机时自动弹出权限弹窗但开发者应当主动检查授权状态并处理用户拒绝的情况。import AVFoundation import Photos enum PermissionError: Error { case cameraDenied case photoLibraryDenied } final class PermissionHelper { static func requestCameraPermission() async throws { let status AVCaptureDevice.authorizationStatus(for: .video) switch status { case .authorized: return case .notDetermined: let granted await AVCaptureDevice.requestAccess(for: .video) if !granted { throw PermissionError.cameraDenied } default: throw PermissionError.cameraDenied } } static func requestPhotoLibraryAddPermission() async throws { let status PHPhotoLibrary.authorizationStatus(for: .addOnly) switch status { case .authorized, .limited: return case .notDetermined: let granted await PHPhotoLibrary.requestAuthorization(for: .addOnly) if granted ! .authorized granted ! .limited { throw PermissionError.photoLibraryDenied } default: throw PermissionError.photoLibraryDenied } } }这个封装的核心逻辑是先查状态已经授权就直接返回。未决定时才弹窗请求。用户拒绝后抛出错误由 UI 层提示用户跳转系统设置。在实际项目中权限弹窗出现的时机很关键。建议在用户点击“拍照”或“保存”时再请求而不是启动 App 就立刻弹窗。过早弹窗会打乱用户节奏降低首次留存率。5. AVFoundation 自定义相机核心流程拆解现在进入最重要的部分用 AVFoundation 搭建一个最小可用的相机应用。整个流程可以拆成五步。5.1 创建会话和安全检查相机功能不能用一次startRunning()调用了事。正确做法是先检查设备是否可用再在后台队列启动会话。import AVFoundation import UIKit final class CameraManager: NSObject { private let session AVCaptureSession() private let sessionQueue DispatchQueue(label: camera.session.queue) private let photoOutput AVCapturePhotoOutput() private var currentInput: AVCaptureDeviceInput? func startSession() async throws { try await PermissionHelper.requestCameraPermission() let device AVCaptureDevice.default(.builtInWideAngleCamera, for: .video, position: .back) guard let device else { throw CameraError.deviceUnavailable } try await sessionQueue.async { [weak self] in guard let self else { return } self.session.beginConfiguration() self.session.sessionPreset .photo let input try AVCaptureDeviceInput(device: device) if self.session.canAddInput(input) { self.session.addInput(input) self.currentInput input } if self.session.canAddOutput(self.photoOutput) { self.session.addOutput(self.photoOutput) } self.session.commitConfiguration() self.session.startRunning() } } func stopSession() { sessionQueue.async { [weak self] in self?.session.stopRunning() } } } enum CameraError: Error { case deviceUnavailable case inputNotSupported }这段代码里需要重点理解的是beginConfiguration()和commitConfiguration()。修改 session 的输入输出时必须成对使用否则会收到系统抛出的异常。把startRunning()放在后台队列是因为它可能耗时几百毫秒阻塞主线程会让界面卡死。5.2 配置预览层预览层是用户看到的实时画面。它属于AVCaptureVideoPreviewLayer需要把它的 session 设置为相机会话。import UIKit import AVFoundation final class CameraViewController: UIViewController { private let cameraManager CameraManager() private let previewLayer AVCaptureVideoPreviewLayer() override func viewDidLoad() { super.viewDidLoad() setupPreviewLayer() Task { do { try await cameraManager.startSession() previewLayer.session cameraManager.sessionForPreview() } catch { showPermissionAlert(error: error) } } } private func setupPreviewLayer() { previewLayer.videoGravity .resizeAspectFill view.layer.addSublayer(previewLayer) } override func viewDidLayoutSubviews() { super.viewDidLayoutSubviews() previewLayer.frame view.bounds } }为了让代码可编译需要在 CameraManager 中暴露 session 给预览层extension CameraManager { func sessionForPreview() - AVCaptureSession { session } }预览层的videoGravity决定画面缩放方式。.resizeAspectFill是全屏填充适合相机取景.resizeAspect保持原始比例画面可能会有黑边。5.3 实现拍照能力拍照使用AVCapturePhotoOutput。它支持从高分辨率照片到 RAW 输出的多种格式。在 CameraManager 中增加拍照方法extension CameraManager: AVCapturePhotoCaptureDelegate { func capturePhoto() { let settings AVCapturePhotoSettings() if photoOutput.availablePhotoCodecTypes.contains(.jpeg) { settings.format [AVVideoCodecKey: AVVideoCodecType.jpeg] } photoOutput.capturePhoto(with: settings, delegate: self) } func photoOutput(_ output: AVCapturePhotoOutput, didFinishProcessingPhoto photo: AVCapturePhoto, error: Error?) { guard let data photo.fileDataRepresentation() else { print(照片数据为空) return } Task { try? await PermissionHelper.requestPhotoLibraryAddPermission() try? PHPhotoLibrary.shared().performChangesAndWait { PHAssetChangeRequest.creationRequestForAsset(from: UIImage(data: data)!) } } } }这个实现里比较重要的是fileDataRepresentation()。它负责把 AVCapturePhoto 编码为实际的 JPEG/HEIF 数据得到后就能保存到相册或上传服务器。有一点要提醒如果用户在拍照后立刻切换摄像头或退出页面AVCapturePhotoCaptureDelegate的回调线程可能已经变化所以不要在回调里直接操作 session 或 UI 控件必须切换到主线程。5.4 前后摄像头切换“切换摄像头”看起来只是换一个输入源但正确实现需要小心会话配置func switchCamera() { sessionQueue.async { [weak self] in guard let self else { return } let currentPosition self.currentInput?.device.position ?? .back let newPosition: AVCaptureDevice.Position currentPosition .back ? .front : .back guard let device AVCaptureDevice.default(.builtInWideAngleCamera, for: .video, position: newPosition) else { return } self.session.beginConfiguration() if let currentInput self.currentInput { self.session.removeInput(currentInput) } do { let newInput try AVCaptureDeviceInput(device: device) if self.session.canAddInput(newInput) { self.session.addInput(newInput) self.currentInput newInput } } catch { print(切换摄像头失败: \(error)) } self.session.commitConfiguration() } }切换摄像头后预览层会自动跟随新的输入源但输出方向需要重新检查。前摄像头和后摄像头的画面朝向不同通常需要读取videoOrientation进行修正。6. 从“能拍照”到“能出好片”手动控制与曝光调节一个相机 App 如果没有手动控制和原生相机就没有本质区别。Camera Sun 如果要“修复”原生相机核心卖点一定包含参数控制。6.1 对焦锁定原生相机支持点击对焦但会在适当时候自动重新对焦。手动相机应根据用户选择锁定对焦点。func setFocus(point: CGPoint, in previewLayer: AVCaptureVideoPreviewLayer) { guard let device currentInput?.device else { return } let convertedPoint previewLayer.captureDevicePointConverted(fromLayerPoint: point) do { try device.lockForConfiguration() if device.isFocusPointOfInterestSupported { device.focusPointOfInterest convertedPoint device.focusMode .autoFocus } if device.isExposurePointOfInterestSupported { device.exposurePointOfInterest convertedPoint device.exposureMode .continuousAutoExposure } device.unlockForConfiguration() } catch { print(对焦失败: \(error)) } }captureDevicePointConverted(fromLayerPoint:)会把屏幕坐标转换为摄像头传感器坐标。如果直接把屏幕点传给focusPointOfInterest会出现“点哪里都不对焦”的问题。6.2 手动曝光ISO 与快门时间iOS 相机 API 允许设置自定义曝光参数func setManualExposure(iso: Float, duration: CMTime) { guard let device currentInput?.device, device.isExposureModeSupported(.custom) else { return } do { try device.lockForConfiguration() device.setExposureModeCustom(duration: duration, iso: iso) { _ in // 曝光调节完成 } device.unlockForConfiguration() } catch { print(曝光设置失败: \(error)) } }使用手动曝光后预览画面会立刻变化。这一步是最容易出现问题的环节如果设置的 ISO 或快门时间超出设备支持范围API 可能不会生效甚至报错。真实项目中应该通过device.activeFormat.minISO、maxISO、activeFormat.maxExposureDuration等属性来限制用户可调节范围。6.3 白平衡控制白平衡是“色彩品味”的关键。原生相机的自动白平衡在不同光源下会漂移手动模式则让用户锁定色温。func setWhiteBalance(temperature: Float, tint: Float) { guard let device currentInput?.device else { return } let maxTint device.maxWhiteBalanceGain let tintValue min(max(tint, -maxTint), maxTint) let tempTint AVCaptureDevice.WhiteBalanceTemperatureAndTintValues( temperature: temperature, tint: tintValue ) let gain device.deviceWhiteBalanceGains(for: tempTint) do { try device.lockForConfiguration() if device.isWhiteBalanceModeSupported(.locked) { device.setWhiteBalanceModeLocked(with: gain) { _ in } } device.unlockForConfiguration() } catch { print(白平衡设置失败: \(error)) } }白平衡的一个常见误区是直接把温度设置在 2000 到 8000 之间就能获得线性变化。实际设备要考虑增益校准deviceWhiteBalanceGains(for:)正是把色温值转换成设备校验后的 RGB 增益。7. 运行结果与照片验证写完代码之后不能只验证“能拍照”还要验证“照片是否符合预期”。运行流程如下7.1 真机运行连接 iPhone 到 Mac。在 Xcode 中选择真机作为运行目标。点击 Run首次启动会请求相机权限允许后即可看到预览画面。点击拍照按钮照片会保存到系统相册。如果启动后出现黑屏先检查控制台日志。最常见的三个原因权限被拒绝、AVCaptureSession没有启动、预览层 session 未赋值。7.2 验证拍照参数手动曝光模式下如何确认 ISO 和快门时间真的生效最可靠的方法是读取照片的 EXIF 元数据。import ImageIO func printExifInfo(from data: Data) { guard let source CGImageSourceCreateWithData(data as CFData, nil), let metadata CGImageSourceCopyPropertiesAtIndex(source, 0, nil) as? [CFString: Any] else { return } print(ISO: \(metadata[kCGImagePropertyExifISOSpeedRatings] ?? 无)) print(快门: \(metadata[kCGImagePropertyExifExposureTime] ?? 无)) print(白平衡: \(metadata[kCGImagePropertyExifWhiteBalance] ?? 无)) }把 EXIF 信息打印出来后对照你设置的手动参数可以验证内核是否真的写入了配置。7.3 画质对比要判断相机 App 是否“修复”了原生相机的过处理问题不能只看屏幕。推荐的验证方法是在相同场景下用原生相机和自定义相机各拍一张然后放大 100% 查看边缘锐化程度。查看暗部噪点是否被过度涂抹。对比肤色和中性灰是否准确。检查高光区域是否过曝。如果自定义相机关闭了过度后处理照片在高光保留和色彩过渡上会有明显差异。但这里要诚实第三方 App 无法完全绕过 ISP所以差异不会像“相机 vs 手机”那样巨大。8. 常见问题与排查思路问题现象可能原因排查方式解决方案预览黑屏相机权限未授权检查权限弹窗和控制台日志到系统设置中开启相机权限预览黑屏session 未 startRunning打印session.isRunning状态确保在后台队列调用startRunning()预览黑屏预览层未设置 session检查previewLayer.session复制时机在 session 启动后赋值拍照返回 nil照片格式设置错误打印fileDataRepresentation()返回值检查 codec 类型是否支持 JPEG/HEIC拍照后方向不对未处理照片方向查看 EXIF 方向元数据根据connection.videoOrientation修正输出方向切换前摄后预览翻转未处理镜像观察画面左右方向对前摄设置automaticallyAdjustsVideoMirroring手动曝光不生效设备不支持 custom 模式检查isExposureModeSupported(.custom)回退到自动曝光并提示用户保存相册失败相册权限不足查看PHPhotoLibrary.authorizationStatus重新请求写权限并引导用户设置长时间拍照内存暴涨未释放大尺寸图片数据使用 Instrument 观察内存拍照完成后及时释放 data 并减少高分辨率连续拍摄模拟器无法预览模拟器相机支持有限确认运行目标必须使用真机测试9. 最佳实践与工程建议9.1 隐私与合规相机类 App 是隐私敏感度最高的品类之一。App Store 审核对相机权限的用途描述要求非常严格。你需要做到权限用途说明要具体例如“用于拍摄带定位水印的照片”比“需要相机权限”更清晰。不要在用户拒绝后反复弹窗应当引导进入系统设置。如果只拍照就不要申请麦克风。照片默认保存在本地不要后台上传用户数据。9.2 性能优化相机是持续消耗 CPU、GPU、ISP 资源的应用。实际开发中要注意session 配置统一在串行队列执行避免多线程并发修改。避免频繁重建AVCaptureSession尽量通过beginConfiguration()调整输入输出。预览层使用AVCaptureVideoPreviewLayer不要把每一帧视频渲染到普通UIImageView。照片保存采用异步方式不阻塞拍照流程。连续拍摄时限制最大连拍数量防止内存峰值。9.3 用户体验设计Camera Sun 要超越原生相机靠的不是把所有参数堆在界面上而是让控制“可理解”。比较好的交互路径是默认是“智能自动”模式保证普通用户拿起来就能拍。提供“专业模式”开关展开对焦、曝光、白平衡等高级项。每个手动参数都显示当前值和可选范围。显示直方图或曝光指示让用户不需要靠猜。9.4 系统兼容性iOS 相机 API 非常稳定但不同机型的硬件能力差异很大。需要做的兼容性检查设备是否支持 RAW 输出。是否有 LiDAR是否支持夜间人像。前置摄像头是否支持高帧率录制。是否支持builtInUltraWideCamera、builtInTelephotoCamera。不要假设所有 iPhone 都有长焦镜头。获取摄像头使用AVCaptureDevice.default(_:for:position:)并根据返回结果动态调整 UI。10. 总结与后续实践方向Camera Sun 这类项目对 iOS 开发者的启发不只是一个“新相机 App”而是提醒我们iPhone 原生相机不是一个终点它代表的是苹果的自动处理审美。这种审美照顾了大多数用户却忽略了对出片有严格要求的创作者。通过 AVFoundation第三方应用可以把对焦、曝光、白平衡、RAW 输出这些底层能力重新暴露出来做一套更透明的拍摄流程。这就是 Camera Sun 可能存在的技术基础也是任何想进入相机赛道的开发者可以复用的路径。下一步建议你先把上文的最小相机跑通确认权限、预览、拍照、保存这四个环节无误之后再逐步加入手动曝光、白平衡锁定、焦点峰值、直方图和 RAW 导出。每一次增加控制项都要回到同一个问题这个控制项是否真的帮用户解决了一个原生相机解决不了的问题如果答案是否定的就果断砍掉。想进一步深入可以研究三个方向ProRAW 与 RAW 处理管线深入掌握照片数据的底层组织方式。Metal 实时滤镜渲染把自定义色彩风格在预览层实时呈现。Core ML 场景识别在自动模式下做出比原生相机更符合用户审美的曝光决策。相机类应用的门槛从来不在“调通 API”而在“如何定义一套让人信任的拍摄理念”。Camera Sun 如果真正做对了这一点它修复的就不只是 iPhone 相机 App而是用户和计算摄影之间的那层控制关系。