Photonic Engine: por dentro da técnica de fotografia computacional do iPhone

Photonic Engine é uma tecnologia de fotografia computacional que melhora as cores e o nível de detalhes nas câmeras do iPhone por meio de aprendizado de máquina. O recurso foi lançado pela Apple junto à linha iPhone 14.

iPhone 14 Pro e 14 Pro Max têm câmeras com Photonic Engine (Imagem: Vitor Pádua/Tecnoblog)

Como funciona o Photonic Engine no iPhone?

O Photonic Engine usa machine learning para processar os pixels das fotos capturadas pelo iPhone e aprimorar os detalhes, textura e ruído das imagens.

A captura de uma foto no iPhone começa na lente, que projeta a luz em um dos sensores CMOS do aparelho. Até nove fotos são tiradas em sequência, e depois passam pelo processador de imagem (ISP), Neural Engine e outras partes do chip do iPhone (também conhecido como SoC) para convertê-las em uma única imagem digital.

Múltiplas imagens são capturadas em sequência e depois “fundidas” no Deep Fusion e Photonic Engine (Imagem: Reprodução/Apple)

A imagem pode ser comprimida com tecnologias como HEIC e JPEG, que reduzem o tamanho do arquivo e facilitam seu compartilhamento na internet, ou ser fornecida no formato RAW, que mantém todos os dados do sensor. O Photonic Engine atua antes do processo de compressão.

A Apple não detalha os métodos usados no Photonic Engine. Por meio do aprendizado de máquina, um ISP pode ser treinado para restaurar uma textura que não foi bem capturada pelo sensor, ou entender o conteúdo da foto para aplicar os melhores ajustes de contraste, nitidez e equilíbrio de cores, por exemplo.

Photonic Engine, tecnologia de fotografia computacional lançada pela Apple em setembro de 2022 (Imagem: Reprodução/Apple)

Qual é a diferença entre Photonic Engine e Deep Fusion?

O Deep Fusion é um recurso de fotografia computacional presente em câmeras de iPhone, e usa aprendizado de máquina para melhorar a qualidade das fotos por meio de uma combinação de várias capturas. Já o Photonic Engine é uma evolução do Deep Fusion.

Segundo a Apple, o Photonic Engine aplica o Deep Fusion em uma etapa anterior do processamento de imagem para preservar detalhes e texturas.

Caron Thor, gerente sênior de qualidade de imagem de câmeras da Apple, anunciou que o Photonic Engine é “o maior passo até hoje em desempenho com baixa iluminação”. A promessa é melhorar a captura de luz em até 2x nas selfies, 2x na lente ultrawide e 2,5x na câmera principal do iPhone 14.

Quais iPhones têm Photonic Engine?

Os iPhones lançados a partir de setembro de 2022 têm câmeras com Photonic Engine. A lista de modelos com suporte ao recurso inclui:

iPhone 14

iPhone 14 Plus

iPhone 14 Pro

iPhone 14 Pro Max

Como ativar ou desativar o Photonic Engine?

O Photonic Engine não pode ser ligado ou desligado manualmente pelo usuário. Ele é usado em todas as câmeras dos iPhones compatíveis sempre que o usuário tira uma foto e pode trazer resultados mais significativos quando a iluminação for baixa.

Quando o Photonic Engine foi lançado?

O Photonic Engine foi lançado em setembro de 2022, no mesmo evento em que a Apple anunciou as linhas iPhone 14 e iPhone 14 Pro. Os celulares Pro receberam pela primeira vez uma câmera principal de 48 megapixels com pixel binning, substituindo a resolução de 12 MP usada em sensores de imagem desde o iPhone 6s, de 2015.

Photonic Engine: por dentro da técnica de fotografia computacional do iPhone