От всички приятни изненади, които ни донесоха Pixel 2 и Pixel 2 XL, най-горе в списъка, без съмнение е портретният режим на снимане (фокус на обекта и замъглен фон на заден план). И не защото е нещо революционно, а просто защото Google са единственият производител на смартфони, които го постигат с една камера.
Как?
Сега, в блога си, Google обясняват как се случва цялата магия. Ключът е в задълбочено съчетание от машинно обучение и изчислителна фотография.
Традиционните DSLR камери разчитат на това, как работи блендата във физическата си структура (определя формата на боке-то) и колко е отворена (котролира коя част от снимката да е във фокус). Тъй като смартфонът има малка бленда с фиксиран размер, това как да се случи… Вместо това обаче, при смартфоните се използват изчисления за дълбочината на обекта и средата в която се намира, като всичко това се използва за изкуствено регулиране на замъгляването (боке-то).
Повечето смартфони използват триангулация за да направят тези изчисления за дълбочината на изображението. Използват два сензора, като по този начин имитират човешките очи или по-скоро начина по който виждат обемно всяка сцена или пък просто отделят картината на два слоя – преден (важния обект на снимката) и заден (фона на снимката). Точно това прави между другото и предната камера на Pixel 2 и Pixel 2 XL. Но не е основната…
Основната камера на Pixel 2 и Pixel 2 XL първо снимат няколко HDR+ снимки с различни нива на експозицията. Така се “виждат” по-тъмните части от кадъра, без да се изсветляват по-светлите части. След това се намесва “машинното обучение”…
Разчита се на TensorFlow невронна мрежа, която разглежда картината и се опитва да установи, кои пиксели са на преден план и кои са във фонов режим. Google са тренирали на отгромен брой снимки на хора с шапки, слънчеви очила и други, което явно им е помогнало, да “разбират” по-добре всеки кадър.
Накрая, Pixel 2 и Pixel 2 XL използват dual-pixel сензора на камерата. Има по два фотодиода за всеки пиксел и чрез разделяне на светлината от сцената, всеки от тези фотодиоди получава леко изменена перспектива. На практика, Google създават нещо като собствена версия на двата кадъра – същите като при смартфоните с две камери.
Последната стъпка е в комбинирането на сегментационната маска с дълбочинната карта, при което размазват всеки пиксел в първончалната HDR+ картина.
И всичко това става за общо 4 секунди.
По-подробно (а вероятно и по-точно) описаниe на това как работи камерата на Pixel 2 и Pixel 2 XL, вижте в блога на Google.
