Prophesee ogłasza koniec niewyraźnych zdjęć… i filmów Jose Antunesa

Jedną z najbardziej ekscytujących wiadomości z niedawnego Światowego Kongresu Mobiel w Barcelonie nie był produkt, ale technologia, która położy kres rozmazanym obrazom zarówno w fotografii, jak i wideografii w smartfonach.

Firmy produkujące smartfony obiecały przenieść fotografię mobilną na wyższy poziom, aw ciągu ostatniej dekady poczyniono pewne gigantyczne postępy, ale teraz jesteśmy w punkcie, w którym mogą nastąpić drastyczne zmiany… oznacza to, że wszystkie smartfony, które dopiero co kupiono, staną się przestarzałe jeśli firma zrealizuje partnerstwo, francuskie Prophesee i Qualcomm obiecują położyć kres rozmyciu ruchu i innym artefaktom jakości obrazu powodowanym przez tradycyjne czujniki, zwłaszcza w dynamicznych scenach i przy słabym oświetleniu, przybliżając fotografię i wideografię do naszych rzeczywistych doświadczeń .

Jeśli to nie jest kolejna — naprawimy to — obietnica Lytro, wkrótce będziemy świadkami nowej ery w fotografii na smartfony, ponieważ obie firmy zgodziły się na wieloletnią współpracę, aby umożliwić natywną kompatybilność między wydarzeniem Prophesee oparte na oprogramowaniu, czujniki Metavision i platformy mobilne premium firmy Snapdragon.

Ponieważ zestawy programistyczne Prophesee mają być dostępne w tym roku, celem jest pomoc w przyspieszeniu przyjęcia rozwiązań Prophesee przez branżę mobilną, które zostały ogłoszone jako „Święty Graal” zdolny do nadania fotografii mobilnej nowego wymiaru wykrywania. Według firmy, jej technologia jest w stanie zmienić paradygmat w tradycyjnym przechwytywaniu obrazu, skupiając się wyłącznie na zmianach sceny, piksel po pikselu, w sposób ciągły, z ekstremalnymi prędkościami.

Prophesee twierdzi, że każdy piksel w czujniku Metavision zawiera jądro logiczne, które umożliwia mu działanie jako neurony, dodając, że „każdy aktywuje się inteligentnie i asynchronicznie w zależności od ilości wykrytych fotonów. Piksel, który się aktywuje, nazywany jest zdarzeniem. Zasadniczo zdarzenia są napędzane dynamiką sceny, a nie przypadkowym zegarem, więc prędkość akwizycji zawsze odpowiada rzeczywistej dynamice sceny”.

Nowa nadzieja dla fotografii sportowej

Sposób, w jaki to działa, wysokowydajne usuwanie szumów oparte na zdarzeniach, jest osiągane poprzez synchronizację czujnika opartego na ramkach i czujnika Prophesee opartego na zdarzeniach. Następnie system wypełnia luki między klatkami i wewnątrz nich mikrosekundowymi zdarzeniami, aby algorytmicznie wyodrębnić czyste informacje o ruchu i naprawić rozmycie ruchu. Dwa zdjęcia tenisistów wyjaśniają to w prosty sposób: normalny aparat zarejestruje rozmycie, a Prophesee uzyska ostry wynik. Każda część tego to fotografia lub wideo, a jakakolwiek część AI budząca się w celu wypełnienia luk jest tym, co niektórzy puryści mogą teraz kwestionować. Jednak droga naprzód wydaje się jasna: mniej rozmyta!

Według firm, współpraca techniczna i handlowa zapewni programistom mobilnym szybki i skuteczny sposób na wykorzystanie zdolności czujnika Prophesee do znacznej poprawy wydajności kamery, szczególnie w szybko poruszających się, dynamicznych scenach (takich jak sceny sportowe) oraz w słabym świetle, poprzez ciągłe i asynchroniczne podejście do wykrywania pikseli opartych na zdarzeniach. Prophesee opracowuje zestaw narzędzi do obsługi integracji technologii czujników Metavision do użytku z urządzeniami z platformami Snapdragon nowej generacji.

„Prophesee jest wyraźnym liderem w stosowaniu technologii neuromorficznych w celu przezwyciężenia ograniczeń tradycyjnych aparatów i poprawy ogólnego doświadczenia użytkownika. Wierzymy, że jest to technologia zmieniająca reguły gry, która przenosi fotografię mobilną na wyższy poziom” – powiedział Judd Heap, wiceprezes ds. Zarządzanie produktem, Qualcomm Technologies. Nasza współpraca, zarówno techniczna, jak i komercyjna, pomoże we wdrażaniu OEM. ”Ich pionierskie przełomowe rozwiązania z funkcją bez migawki w kamerach sportowych zapewniają znaczną poprawę jakości obrazu dostępnej w następnej generacji urządzeń mobilnych ze Snapdragonem, nawet w najbardziej wymagających środowiskach, otwierając szereg nowych możliwości dla klientów Snapdragon.

„Jesteśmy podekscytowani współpracą z dostawcą jednej z najpopularniejszych platform mobilnych na świecie w celu zintegrowania wglądu opartego na zdarzeniach w ekosystem Snapdragon. Dzięki tej współpracy twórcy produktów będą mogli radykalnie poprawić wrażenia użytkownika dzięki kamerom, które zapewniają jakość obrazu i doskonałość operacyjna niedostępna przy użyciu tradycyjnych metod. Tylko w oparciu o tradycyjne ramy” — powiedział Luca Ferri, dyrektor generalny i współzałożyciel Prophesee.

Dlatego do końca 2023 roku Prophesee ma nadzieję znaleźć sposoby na osiągnięcie szybkości, wydajności i jakości widzenia, które będą obsługiwać neuromorficzne formy urządzeń mobilnych za pośrednictwem platform mobilnych Snapdragon klasy premium. Zainspirowane ludzkim okiem czujniki Prophesee Event-Based Sensors mają pomóc fotografii smartfonowej zrobić ogromny krok naprzód, aby wypełnić lukę, pozostając w tyle za tradycyjnymi aparatami.

Jeśli system działa zgodnie z sugestiami, fotografia sportowa i akcja, które były ogólnie niedostępne dla smartfonów, staną się nowym placem zabaw. Niedawno podsłuchałem rozmowę profesjonalnych fotografów o tym, jak smartfony mogą lub nie mogą być używane do fotografii sportowej. Wraz z nową wersją prorokował Czujniki oparte na zdarzeniach, wszelkie wnioski przyjęte jako ważne powinny zostać ponownie rozważone.