Qualcomm staje się mobilną potęgą sztucznej inteligencji.

Zbliżając się do Nvidii GTC, należy zauważyć, że tak On jest Kolejny gracz w mieście. Lub na południe od miasta, w San Diego: Qualcomm. Firma buduje doświadczenia i technologie AI od ponad dekady i wierzymy, że jej przewaga nad mobilnymi konkurentami, zarówno pod względem sprzętu, jak i oprogramowania AI, jest ważna. Firma posiada rozbudowaną rodzinę SoC, która łączy w sobie podstawową technologię akceleracji AI, w tym nowe Snapdragon X EliteSnapdragon 8 Gen 3 dla urządzeń mobilnych i Cloud AI100 Ultra dla sztucznej inteligencji w centrach danych.

Po raz pierwszy zachwyciłem się sztuczną inteligencją Qualcomm podczas sponsorowanego przez firmę lunchu w San Francisco w 2017 r. Inżynierowie wydawali się naprawdę podekscytowani rozmową zarówno o sztucznej inteligencji w Snapdragonie dla urządzeń mobilnych, jak i o tym, co stało się CloudAI 100, które oferowało około 400 TOPS w zaledwie W chwili premiery 75 W. W 2020 r. To niesamowita wydajność sztucznej inteligencji przy niskim poborze mocy. Tak naprawdę nadal jest liderem na rynku. Przyjrzyjmy się, dlaczego naszym zdaniem Qualcomm zajmuje obecnie czołowe miejsce w przetwarzaniu wnioskowania na krawędzi.

Powody, dla których Qualcomm jest liderem w Edge AI

Niedawno omawiałem strategię i produkty Qualcomm w zakresie sztucznej inteligencji z Ziadem Asgharem, starszym wiceprezesem ds. zarządzania produktami w Qualcomm. Qualcomm wierzy, że wiele wniosków AI dokonywanych obecnie w chmurze zostanie przeniesionych na urządzenia brzegowe. W końcu, jeśli terminal ma wystarczającą moc obliczeniową i pamięć, aby wykonać tę pracę, po co płacić za czas spędzony w infrastrukturze dostawcy usług internetowych, skoro możesz uruchomić zadanie na urządzeniu, które już posiadasz? To nic nie kosztuje, prawda? Ziad przewidział również, że aplikacje AI, takie jak Microsoft Co-Pilot, obecnie dostępne tylko w chmurze Azure, w końcu będą działać na urządzeniu!

Jednak uruchomienie dużych modeli językowych na telefonie lub samochodowym SoC to nie tylko prosty proces kompilacji. Musisz zmniejszyć rozmiar modelu, aby zmieścił się w pamięci (kwantyzacja). Należy przyciąć sieć, aby zwiększyć wydajność (rzadkie zbiory). Użycie kompresji może zmniejszyć rozmiar siatki (kompresja MX6). Nowe techniki, takie jak dekodowanie spekulatywne, mogą przyspieszyć czas tekstu, korzystając równolegle z dwóch LLM; Szybki, aby wygenerować możliwą odpowiedź i pełniejszy, aby zweryfikować tę odpowiedź. Są to wszystkie obszary badane i wdrażane przez Qualcomm na Snapdragonie i Cloud AI100.

Ogólnie rzecz biorąc, oto kilka powodów, dla których Qualcomm zajmuje dobrą pozycję w pierwszych dniach rozwoju sztucznej inteligencji na krawędzi.

1. Specjalistyczne urządzenia dla sztucznej inteligencji: Seria procesorów Snapdragon firmy Qualcomm obejmuje dedykowane silniki AI (takie jak Hexagon DSP) zaprojektowane z myślą o wydajnej obsłudze zadań związanych ze sztuczną inteligencją i uczeniem maszynowym. Umożliwia to szybsze przetwarzanie zadań AI na urządzeniu bez konieczności przesyłania danych do chmury.
2. Efektywności energetycznej: Procesory Qualcomm zostały zaprojektowane tak, aby zapewniać wysoką wydajność przy jednoczesnym efektywnym zarządzaniu zużyciem energii. Ma to kluczowe znaczenie w przypadku peryferyjnych zastosowań sztucznej inteligencji, w których ważnymi czynnikami są żywotność baterii i zarządzanie temperaturą.
3. Powszechne zastosowanie w urządzeniach mobilnychProcesory Snapdragon firmy Qualcomm są stosowane w szerokiej gamie smartfonów i urządzeń. Ta baza zainstalowanych rozwiązań stworzyła silny ekosystem programistów i aplikacji zoptymalizowanych pod kątem urządzeń Qualcomm.
4. Narzędzia programowe AI i zestawy SDK: Qualcomm zapewnia kompleksowe wsparcie oprogramowania do rozwoju sztucznej inteligencji, w tym silnik AI i pakiety SDK specyficzne dla programistów. Wsparcie to upraszcza integrację możliwości sztucznej inteligencji z aplikacjami i usługami. W tym celu Qualcomm przedstawił w tym roku AI Center na targach CES; Więcej na ten temat za chwilę.

Wydajność Snapdragona

Zacznijmy jednak od występu. Dobra wydajność to dopiero początek Twojej podróży ze sztuczną inteligencją, ale bez niej nigdzie nie zajdziesz.

Urządzenia Toma I W Wccftech Opublikowane artykuły (linki poniżej) omawiają testy porównawcze pokazujące wydajność Snapdragon X Elite w jednowątkowych i wielowątkowych zadaniach procesora oraz obciążeniach AI. Mamy nadzieję, że wkrótce zobaczymy testy porównawcze MLPerf.

Oto kilka kluczowych punktów:

• Wydajność AI: sześciokątna jednostka NPU Snapdragona Wyżlin
• Wydajność procesora: Snapdragon X Elite pokazuje także konkurencyjną wydajność procesora w porównaniu z chipsetami Intel Core i7 i AMD Ryzen w testach porównawczych takich jak Geekbench i Cinebench. W przeciwieństwie do Apple M3, X Elite był Zmierzono, że jest o 21% szybszy.
• Wydajność i energooszczędność Cloud AI 100 przyciągnęła partnerów, którzy chcą przetwarzać wnioski przy niższych kosztach i zużyciu energii, w tym Amazon AWS, HP Enterprise, Dell i Lenovo. Cerebras, wynalazca Wafer Scale Engine 3, ogłosił w tym tygodniu, że będzie również współpracować z Qualcomm i zapewni 10-krotnie większą przewagę kosztową swoim klientom korzystającym z tej platformy.
• Zauważamy, że X Elite wykorzystuje zupełnie nowy rdzeń, zaprojektowany przez Nuvię i nabyty przez Qualcomm w 2021 roku. Oczekujemy, że ten nowy rdzeń będzie wkrótce stosowany w przyszłych centrach danych i urządzeniach mobilnych. Powinniśmy również zaznaczyć, że X Elite, choć jest świetnym chipem w epoce komputerów wyposażonych w sztuczną inteligencję, ma przed sobą dużą górę w zakresie oprogramowania, jeśli chodzi o aplikacje Windows.

Programiści XDASnapdragon X Elite vs Intel Core Ultra 7 155H: Przeprowadziliśmy testy porównawcze
Urządzenia TomaWczesne testy Snapdragon X Elite wykazały, że procesor ARM jest szybszy niż wysokiej klasy mobilne procesory APU firmy AMD

Programy sztucznej inteligencji

Qualcomm AI Hub to zasób zaprojektowany specjalnie dla programistów pracujących na urządzeniach obsługujących Qualcomm Snapdragon i innych platformach. Działa jako centralna lokalizacja, w której programiści mogą uzyskać dostęp do narzędzi do rozwoju sztucznej inteligencji na urządzeniu i z nich korzystać. Oto zestawienie jego głównych cech:

• Biblioteka modeli sztucznej inteligencji: Centrum oferuje kolekcję ponad 75 wstępnie zoptymalizowanych modeli AI. Modele te obejmują różne zadania, takie jak rozpoznawanie obrazu, wykrywanie obiektów, przetwarzanie mowy i inne. Programiści mogą łatwo zintegrować te modele ze swoimi aplikacjami, skracając czas i wysiłek związany z tworzeniem oprogramowania.
• Skoncentruj się na sztucznej inteligencji na urządzeniu: AI Hub koncentruje się na sztucznej inteligencji na urządzeniu, gdzie sztuczna inteligencja jest przetwarzana bezpośrednio na samym urządzeniu, zamiast polegać na chmurze. Takie podejście zapewnia korzyści, takie jak krótszy czas reakcji, większa prywatność i mniejsza zależność od połączenia internetowego.
• Zaawansowana optymalizacja wydajności: Prezentowane w centrum modele AI są specjalnie zoptymalizowane do wydajnej pracy na procesorach Qualcomm. Optymalizacja ta zapewnia płynną pracę i efektywne wykorzystanie zasobów urządzenia.
• Dostępność: Qualcomm AI Hub udostępnia te modele na wielu platformach, obok ich własnych. Programiści mogą go znaleźć w samym Qualcomm AI Hub, Hugging Face i GitHub.

Ogólnie rzecz biorąc, Qualcomm AI Hub ma na celu uproszczenie i przyspieszenie rozwoju aplikacji obsługujących sztuczną inteligencję dla urządzeń działających na Qualcomm Snapdragon i innych platformach poprzez udostępnianie wstępnie zoptymalizowanych modeli i zasobów zaprojektowanych specjalnie dla sztucznej inteligencji na urządzeniach.

Wnioski

W miarę ciągłego rozwoju Qualcomm postrzega sztuczną inteligencję jako kluczowy wyróżnik w przyszłości. Sztuczna inteligencja może pomóc we wszystkim, od fotografii po spersonalizowane usługi zwiększające produktywność. Wyposażony we własną wewnętrzną organizację badawczą zajmującą się długoterminowymi innowacjami oraz zespoły SoC, które niezawodnie realizują plan, Qualcomm jest liderem sprzętu i oprogramowania Edge AI. AMD i Intel nie są zaangażowane w przestrzeń mobilną, a Apple najwyraźniej nie zdaje sobie sprawy, że rewolucja AI już trwa.

Qualcomm musi opracować i wdrożyć skuteczną strategię ekosystemową dla systemu Windows na X Elite, ale Microsoft jest tutaj, aby Ci pomóc. Nikt nie chce uruchamiać aplikacji w trybie emulacji, przynajmniej nie na długo.

Chociaż Nvidia jest zdecydowanie liderem w dziedzinie sztucznej inteligencji dla centrów danych, uważamy, że Qualcomm ma wiodącą pozycję na krawędzi, gdzie dzieje się dużo akcji. Na rynku dostępnych jest już kilka świetnych telefonów, które potwierdzają wartość sztucznej inteligencji na krawędziach.

Ujawnienia: Artykuł ten wyraża poglądy autora

Nie należy traktować tej porady jako porady dotyczącej zakupu lub inwestycji w wymienione spółki. Cambrian AI Research ma szczęście, że ma wiele, jeśli nie większość, firm produkujących półprzewodniki, w tym Blaize, BrainChip, CadenceDesign, Cerebras, D-Matrix, Eliyan, Esperanto, FuriosaAI, Graphcore, GML, IBM, Intel, Mythic, NVIDIA, Qualcomm Technologies, Si -Five, SiMa.ai, Synopsys, Ventana Microsystems, Tenstorrent i wielu innych klientów inwestycyjnych. Nie posiadamy pozycji inwestycyjnych w żadnej ze spółek wymienionych w artykule i nie planujemy otwierania żadnej w najbliższej przyszłości. Więcej informacji można znaleźć na naszej stronie internetowej pod adresem https://cambrian-AI.com.