“计算摄影”一词如今已被大量使用，但它的确切含义是什么？，特约撰稿人瓦西里·祖巴列夫（Vasily Zubarev）带我们走了从现在到未来的旅程，解释了当今的计算摄影技术，它的发展方向以及它将如何改变摄影的本质。
计算摄影：从自拍照到黑洞
今天无法想象智能手机的演示而不在相机旁跳舞。Google在黑暗中拍摄Pixel，华为像望远镜一样变焦，三星将激光雷达放进去，苹果展示了新世界的最圆角。此处发生的非法创新水平。
另一方面，数码单反相机似乎已经死了一半。索尼每年都会为每个人腾出新的传感器百万像素大雨，而制造商则懒惰地更新次要版本号，并继续从电影制片商那里积lying大量现金。我的桌上放着价值3000美元的尼康，但旅行时却带了iPhone。为什么？
今天无法想象智能手机的演示而不在相机旁跳舞。
我上网问了这个问题。在那里，我看到了很多有关“算法”和“神经网络”的争论，尽管没有人能解释它们到底如何影响照片。记者大声地从新闻稿中读取了百万像素的数量，博客作者通过取消装箱来关闭Internet，而摄影迷们则以“对传感器调色板的感觉”泛滥。啊，网际网路。您授予我们访问所有信息的权限。爱你。
因此，我花了一半的时间独自理解整个事情。我将尽力解释我在本文中找到的所有内容，否则我会在一个月内忘记它。
什么是计算摄影？
在包括Wikipedia在内的所有地方，您都可以得到如下定义：计算摄影是一种数字图像捕获和处理技术，使用数字计算而不是光学处理。除了胡说八道以外，一切都很好。官方定义的模糊性有点表明我们仍然不知道我们在做什么。
斯坦福大学教授兼计算机摄影先驱Marc Levoy（他也是Google Pixel相机许多创新的幕后人物）给出了另一个定义- 计算机成像技术增强或扩展了数字摄影的功能，其中输出的是普通照片，但用传统的相机不能拍摄。我更喜欢它，在本文中，我将遵循这个定义。
因此，智能手机应为一切负责。
因此，智能手机应为一切负责。智能手机别无选择，只能赋予新型摄影摄影生命。
他们没有嘈杂的传感器和微小的慢镜头。根据所有物理定律，它们只会给我们带来痛苦和折磨。他们做到了。直到一些开发人员弄清楚如何利用自己的优势来克服这些缺点：快速电子快门，强大的处理器和软件。
计算摄影领域的大多数重要研究都在2005-2015年完成，这在科学上算是昨天了。这意味着，现在，就在眼前和口袋里，出现了前所未有的知识和技术新领域。
计算摄影不仅涉及自拍照的背景虚化。如果不使用计算摄影方法，就不会拍摄黑洞的最新照片。要使用标准望远镜拍摄此类照片，我们必须使其达到地球的大小。但是，通过组合地球球不同位置的八个射电望远镜的数据并编写一些很酷的Python脚本，我们获得了世界上第一张事件视界图。
不过，它仍然对自拍照很有好处，请放心。
开始：数字处理
让我们回到2010年。贾斯汀·比伯（Justin Bieber）发行了他的第一张专辑，而哈利法塔（Burj Khalifa）刚刚在迪拜开业，但由于我们的照片是嘈杂的2兆像素JPEG，我们甚至无法捕捉到这两个伟大的宇宙事件。我们第一个不可抗拒的愿望是通过使用“老式”预设来隐藏移动相机的一文不值。Instagram出来了。
数学和Instagram
随着Instagram的发布，每个人都痴迷于过滤器。出于反向研究X-Pro II，Lo-Fi和Valencia的目的，当然，出于研究目的，我仍然记得它们包含三个组成部分：
- 色彩设置（色相，饱和度，亮度，对比度，色阶等）是简单的系数，就像摄影师自古以来使用的任何预设一样。
- 色调映射是值的向量，每个值告诉我们“色调为128的红色应转换为色调240”。像这样，它通常表示为单像素图片。这是X-Pro II过滤器的示例。
- 覆盖层-半透明的图片，上面有灰尘，纹理，小插图以及可以从上方应用的所有其他东西，可以得到（完全不行）老电影的平淡效果。很少使用。
现代的过滤器与这三个过滤器相距不远，但从数学角度来看却变得有些复杂。随着智能手机上的硬件着色器和OpenCL的出现，它们很快就在GPU下进行了重写，并且被认为是非常酷的。当然，对于2012年。今天，任何孩子都可以在CSS上做同样的事情，但是他仍然不会邀请女孩参加舞会。
但是，过滤器领域的进步并没有因此而停止。例如，来自Dehanсer的家伙正在使用非线性滤波器。他们说，他们使用了更多豪华，复杂的非线性变换，而不是差劲的色调映射，从而打开了更多的机会。
随着Instagram的发布，每个人都痴迷于过滤器。
您可以使用非线性变换来做很多事情，但是它们非常复杂，我们人类却非常愚蠢。一旦涉及到非线性变换，我们更喜欢采用数值方法或运行神经网络来完成我们的工作。同样的事情在这里发生。
自动化和“杰作”按钮的梦想
当每个人都习惯了滤镜后，我们便开始将它们直接集成到我们的相机中。无论谁是第一个实施此功能的制造商，它都已被隐藏在历史中，但只是了解一下，想想多久以前，在2011年发布的iOS 5.0中，我们已经有了一个用于Auto Enhancing Images的公共API 。只有史蒂夫·乔布斯（Steve Jobs）知道它在向公众开放之前已经使用了多长时间。
自动化通过打开照片编辑器来实现与我们所有人相同的功能-它固定了灯光和阴影，增加了亮度，消除了红眼，并固定了脸部颜色。用户甚至都不知道“大幅改进的相机”只是几行新代码的优点。
像素增强器中的ML增强。
如今，“杰作”按钮的争夺已转移到机器学习领域。厌倦了使用音调映射，每个人都赶上了CNN和GAN的炒作火车，并开始强迫计算机为我们移动滑块。换句话说，使用输入图像来确定一组最佳参数，这些参数将使给定图像更接近对“良好摄影”的特定主观理解。查看它在Pixelmator Pro和其他编辑器中的实现方式，这些编辑器以登录页面上列出的精美的“ ML”功能吸引您。如您所料，它并不总是能正常工作。但是，您始终可以使用下面的链接来获取数据集，并训练自己的网络来击败这些家伙。或不。
堆叠：移动相机成功的90％
真正的计算摄影始于堆叠-一种将多张照片彼此叠加的方法。智能手机在半秒内拍摄十几张图片并不是什么大不了的事情。他们的相机中没有慢速的机械部件：光圈是固定的，并且有一个电子快门来代替“活动窗帘”。处理器只是简单地告诉传感器它应该捕获野生光子多少微秒，然后读取结果。
从技术上讲，电话可以以视频速度拍摄照片，并且可以以照片分辨率拍摄视频，但是所有这些都减慢了总线和处理器的速度。因此，始终存在软件限制。
堆放已经有一段时间了。甚至创始人的父亲也都使用Photoshop 7.0的插件来收集一些疯狂锐化的HDR照片或制作18000x600像素的全景图，并且……没人知道下一步该怎么做。野性好。
现在，作为成年人，我们将其称为“ epsilon摄影 ”，这意味着更改相机参数之一（曝光，聚焦或位置）并将图像放在一起以获得无法一次拍摄的东西。尽管在实践中，我们称其为堆叠。如今，所有90％的移动相机创新都基于此。
有很多人不关心，但是对于了解整个移动摄影至关重要：现代的智能手机相机一打开相机就开始拍照。这是合乎逻辑的，因为它应该以某种方式在屏幕上显示图像。但是除此之外，它还会将高分辨率图像保存到其循环缓冲区中，并将它们再存储几秒钟。不，不仅限于国家安全局。
当您点击“拍摄照片”按钮时，实际上已经拍摄了照片，并且相机正使用缓冲区中的最后一张照片。
如今，这就是任何移动相机的工作方式。至少是顶级的。缓冲不仅可以实现零快门滞后（摄影师乞求了这么长时间），甚至可以实现负快门滞后。通过按下按钮，智能手机可以浏览过去，从缓冲区中卸载5-10张最后的照片，并开始对其进行疯狂地分析和组合。无需等到手机拍摄HDR或夜间模式的照片时，就让我们简单地从缓冲区中拾取它们，用户甚至都不会意识到。
实际上，这就是在iPhone中实现Live Photo的方式，而HTC在2013年以一个奇怪的名字Zoe推出了它。
曝光堆叠：HDR和亮度控制
古老而热门的话题是摄像头传感器是否能够捕捉到我们眼睛可利用的整个亮度范围。有人说不，因为眼睛最多可以看到25 个光圈，甚至顶部的全画幅传感器也可以伸展到最大14个。其他人称这种比较是不正确的，因为我们的眼睛是由大脑辅助的。自动调整您的瞳孔并使用其神经网络完善图像。因此，眼睛的瞬时动态范围实际上不超过10-14个光圈。太难。让我们将这些纠纷留给科学家。
事实依然存在-在没有HDR的情况下使用任何移动相机在明亮的天空上为朋友拍照，您会得到自然的天空和朋友的黑脸，或者自然的面孔，但是天空完全烧焦。
当您点击“拍摄照片”按钮时，实际上已经拍摄了照片，并且相机正使用缓冲区中的最后一张照片。
该解决方案是在很久以前找到的-使用HDR（高动态范围）过程扩展亮度范围。当我们无法立即获得大范围的亮度时，可以分三步（或更多步）完成。我们可以用不同的曝光率拍摄几张照片-“正常”一张，更亮和更暗。然后，我们可以使用明亮的照片填充阴影点，并从黑暗的位置恢复曝光过度的点。
这里需要做的最后一件事是解决自动包围曝光的问题。我们将每张照片的曝光量偏移多远，以免过度拍摄？但是，任何二年级的技术学生今天都可以使用某些Python库来实现。
当相机内部的简单算法检测到您正在拍摄高对比度场景时，最新手机会自动打开HDR模式。有些像素（例如Google Pixel）使用不同的策略，将同一曝光的多个帧组合在一起（为了避免过度曝光场景的明亮部分而选择），以减少噪点甚至增加细节。以后再说。
带有包围曝光的HDR的主要缺点是，在光线不足的情况下它的难以置信的无用性。即使在家用灯的照耀下，图像也可能显得太暗，以至于机器也无法将它们拉平并堆叠在一起。这是因为“最明亮”的曝光对于手持拍摄而言太长了，从而导致运动模糊。同时，较短的曝光时间只是无法收集到足够的光线以产生不俗的照片。为了解决该问题，Google于2013年宣布了在Nexus智能手机中采用HDR的另一种方法。该技术使用了时间堆栈。
时间堆叠：长时间曝光和时间流逝
时间堆叠可让您通过一系列短镜头获得长时间曝光的效果。这种方法是由喜欢在夜空中拍摄星迹的家伙率先开发的。即使使用三脚架，也无法通过一次打开快门两个小时来拍摄此类照片。您必须事先计算所有设置，稍加晃动就会破坏整个镜头。因此，他们决定将过程分成几分钟，然后在Photoshop中将图片堆叠在一起。
这些星形图案始终由一系列照片粘合在一起。这样可以更轻松地控制曝光。
因此，相机绝不会长时间曝光。我们通过组合几张相同曝光量的连续镜头来模拟效果。对于智能手机摄影，这些镜头具有足够短的曝光时间，可以手持清晰的镜头。智能手机已经有很多应用程序使用此技巧很长时间了，但是现在几乎每个制造商都将其添加到标准相机工具中。
3次点击即可对iPhone的实时照片进行长时间曝光。
让我们回到Google及其夜间HDR。事实证明，使用时间堆叠可以在黑暗中创建不错的合成图像。这项技术首次出现在Nexus 5中，被称为HDR 。该技术仍然非常受欢迎，甚至在最新的Pixel演示中也受到赞誉。
HDR 的工作原理非常简单：一旦相机检测到您正在黑暗中拍摄，它就会将最后8-15张RAW照片从缓冲区中取出并堆叠在一起。这样，算法会收集有关镜头暗区的更多信息，以最大程度地减少噪音。从技术上讲，减少了整个图像的噪点，但是在阴影和中间色调方面，好处最为明显。
想象一下：您不知道水豚的外观，所以决定向五个人询问。他们的故事大致相同，但每个故事都会提及任何独特的细节，因此与只问一个人相比，您收集的信息更多。照片上的像素也会发生同样的情况。更多信息-更清晰，更少噪音。
- 链接： HDR ：Google相机应用中的弱光和高动态范围摄影
将从同一点捕获的图像组合在一起，可以得到与上面的星星示例相同的假长时间曝光效果。总结了几十张照片的曝光，而另一张照片上的错误被最小化。想象一下，要达到此目的，您必须猛击DSLR中的快门几次。
像素广告，可美化HDR 和Night Sight。
但是HDR 不仅在弱光下工作。事实证明，从白天到晚上再到高对比度场景，时间堆叠-或更广为人知的“连拍”技术也可以提高整个图像的质量。简而言之，捕获的总光越多，最终结果的质量就越好。实际上，高对比度日光（或黄昏）场景的捕获与夜间捕获一样面临类似的挑战：当您选择曝光以防止明亮区域被削波时，较暗的部分由太少的光子组成，无法获得清晰的结果。通过捕获和合并多重曝光，可以减少整个图像的噪点数量。这恰恰是所有Pixel手机一直在做的事情。没错，HDR 现在不再是一种模式，它是默认的摄像机捕获模式。
只剩下一件事了，这是自动颜色转换。通常可以使用传统的白平衡算法对日光场景进行色彩校正，但是在黑暗中拍摄的照片通常会失去色彩平衡（偏黄或偏黄），因为很难判断主要光源。这通常需要手动修复。在早期版本的HDR 中，此问题已通过简单的自动调色修复程序（如Instagram过滤器）解决。后来，他们为救援人员带来了神经网络。
这就是Night Sight的诞生方式-Pixel 2、3和更高版本中的“夜间摄影”技术。描述说：“基于HDR 的机器学习技术使Night Sight发挥作用。” 实际上，这只是神经网络和所有HDR 后处理步骤的名字。该神经网络在Pixel相机拍摄的夜间照片的“之前”和“之后”数据集上进行了训练，并经过手工校正以获得令人愉悦的色彩。Google开发的“基于学习的白平衡”效果非常好，现在可用于在Pixel手机上为各种图像正确着色，而不仅仅是夜间拍摄。
此外，Night Sight会计算镜头中物体的运动矢量，以选择适当的曝光时间以产生不模糊的结果。以下是Marc Levoy撰写的《 Night Sight》更深入研究的一些链接，以及Google宣布其HDR 数据集的链接，它公开了“使社区能够集中精力比较结果……[]这种方法本质上比期望研究人员自己配置和运行竞争技术，或者如果代码是专有的，则从头开始实施它们，效率更高。”
运动叠加：全景，超变焦和噪点控制
Panorama一直是孩子们最喜欢的玩具。世界历史上，除了香肠作者以外，没有其他人对香肠照片感兴趣。但是，尽管如此，还是值得一谈的，因为这就是堆叠进入许多人生活的方式。
全景图的第一个有用应用是制作超分辨率照片。通过组合多个略有偏移的图像，可以获得比相机提供的分辨率高得多的图像。因此，您可以接收数百千兆像素分辨率的照片，如果您需要将其打印为房屋大小的广告牌，这将非常有用。
另一种更有趣的方法称为像素移位。像奥林巴斯（Olympus）这样的无反光镜相机早在2015年就开始支持它，而松下（Panasonic）等相机的最新版本甚至提供了复杂的运动校正。
智能手机在这里取得成功的原因很有趣。拍照时，手在颤抖。这个“问题”成为在智能手机上实现本机超分辨率的基础。
要了解其工作原理，我们需要记住任何相机传感器的工作原理。每个像素（光电二极管）只能捕获光的强度，即穿透的光子数。但是，像素无法测量颜色（波长）。为了获得RGB图像，我们不得不对其进行修改，并用一副彩色眼镜网格覆盖整个传感器。它最流行的实现称为拜耳滤波器，如今已在大多数传感器中使用。
事实证明，传感器的每个像素仅捕获R，G或B分量，因为其余的光子被拜耳滤波器无情地反射。丢失的分量是通过稍后平均附近像素来计算的。
与人眼类似，拜耳过滤器比其他过滤器具有更多的绿色细胞。因此，传感器上的5000万像素中，只有2500万（！）会捕获绿光，而1250万将捕获红色，另外1250万将捕获蓝色。每个像素未捕获的剩余颜色将通过比较相邻像素的信息进行插值。这个过程是去Bayering或去马赛克，并且是肥胖和滑稽的kudge保持一切。
实际上，每个传感器都有其棘手的（当然）已获得专利的去马赛克算法，但是在本故事中，我们不在乎。
其他类型的传感器（例如Foveon）并没有那么受欢迎。一些像华为这样的稀有智能手机制造商虽然尝试使用非拜耳滤波器来改善噪音和动态范围，但取得了不同程度的成功。
多亏了拜耳过滤器，我们损失了一吨光子，尤其是在黑暗中。因此，我们提出了像素移动的想法-将传感器上下左右移动一个像素以捕获所有像素，并在每个像素处捕获红色，绿色和蓝色信息。就像您可能认为的那样，该照片似乎没有大4倍，这只是意味着不再需要去马赛克，因为所有颜色信息都在每个像素位置捕获。
我们的握手使Pixel Shifting成为移动摄影的自然之选。这就是在最新版本的Google Pixel中实现的方式。在放大Pixel手机时会注意到它。这种缩放称为超级分辨率缩放（是的，我也喜欢苛刻的命名）。中国制造商已经将其复制到他们的手机中，尽管比原始版本差。
堆叠略微偏移的照片可以使我们收集有关每个像素的更多信息，以减少噪声，锐化并提高分辨率，而无需增加传感器百万像素的物理数量。Google的Pixel和其他一些现代的Android手机在缩放时会自动执行此操作，而用户甚至没有意识到。它是如此有效，以至于Google也可以在Pixel的Night Sight模式下使用它，而不管变焦如何，在任何情况下，它通常都比同类竞争对手产生更详细的结果（与流行的看法相反，即使在白天也可以使用Night Sight）。
焦点堆叠：DoF和后期制作中的重新聚焦
该方法来自微距摄影，而景深一直是个问题。为了使整个对象保持聚焦，您必须拍摄几张照片，来回移动焦点，然后在Photoshop中将它们组合成一张清晰的照片。风景摄影师经常使用相同的方法使前景和背景像鲨鱼一样清晰。
焦点堆积在宏中。景深太小，您不能一口气拍摄它。
当然，它们全部迁移到了智能手机。不过，不要大肆宣传。诺基亚在2013年通过“ Refocus App”发布了Lumia 1020，三星Galaxy S5在2014年通过“ Selective Focus ” 做了同样的事情。两者都使用相同的方法-他们迅速拍摄了3张照片：聚焦一张，聚焦向前和向后移动。然后，相机将图像对齐，并允许您选择其中之一，这是后期制作中引入的“真实”聚焦控件。
没有进一步的处理，因为即使是这个简单的技巧也足以在Lytro和使用了合理重新聚焦的类似物的棺材上钉上另一个钉子。顺便说一下，我们接下来将讨论它们。
