NVIDIA Jetson: Architektúra, práca a jej aplikácie

Popredná platforma na svete, ako je NVIDIA Jetson, je rad vstavaných počítačových dosiek, ktoré sa používajú hlavne v autonómnych strojoch a iných vstavané aplikácie . Táto doska obsahuje hlavne moduly Jetson, čo sú vysokovýkonné počítače. Jetson sa dobre hodí s podobným softvérom AI a cloudovým natívnym pracovným postupom, ktorý sa používa na iných platformách NVIDIA a poskytuje zákazníkom energeticky efektívny výkon na vytváranie softvérovo založených autonómnych strojov. NVIDIA Jetson sa používa pre aplikácie počítačového videnia. Tento článok teda pojednáva o prehľade NVIDIA Jetson – práce a jej aplikácií.

Čo je NVIDIA Jetson?

NVIDIA Jetson je pokročilá systém vkladania doska, ktorá sa používa na vytváranie inovatívnych produktov AI v niekoľkých odvetviach. NVIDIA Jetson je jednou z popredných hardvérových platforiem, ktorá je veľmi užitočná pre technologických nadšencov a tiež študentov, aby získali praktické skúsenosti prostredníctvom radu inovatívnych projektov AI. Táto doska je veľmi efektívna doska pre AI, ktorá zahŕňa modulárne, maloformátové a vysokovýkonné okrajové počítače. Okrem toho táto doska obsahuje aj JetPack SDK, ktorý sa používa na softvérovú akceleráciu, ako aj kompletný ekosystém, ktorý pomáha pri zvyšovaní postupu vývoja vlastných projektov AI.

Architektúra NVIDIA Jetson

Vieme, že modul Nvidia Jetson od Nvidie je sekvencia vstavaných výpočtových dosiek. Všetky modely Jetson TX1, TX2 a TK1 nesú procesor SoC alebo Tegra od spoločnosti Nvidia, ktorý obsahuje CPU s architektúrou ARM. Tu je Jetson systém s nízkou spotrebou energie určený hlavne na zrýchlenie aplikácií strojového učenia.

Architektúra NVIDIA Jetson Xavier NX je zobrazená nižšie. Je to najpokročilejší a malý superpočítač s umelou inteligenciou, ktorý sa používa aj pre zariadenia edge computingu autonómna robotika . Tento modul má kapacitu na nasadenie výkonu serverovej triedy v rámci pevného rozmeru 70 x 45 mm a tiež poskytuje až 21 TOP výpočtov pod 15 W výkonu, inak až 14 TOP výpočtov pod 10 W.

Vyššie uvedený diagram obsahuje zabudovanú 384-jadrovú NVIDIA Volta GPU vrátane 6-jadrového procesora NVIDIA Carmel ARMv8.2 64-bit CPU, 48 jadier Tensor, 8 GB 128-bit LPDDR4x, kódovačov a dekodérov videa 4K, duálnych motorov NVDLA (NVIDIA Deep Learning Accelerator), kamery až pre šesť okamžitých vysokých rozlíšení toky senzorov, duálny Display Port alebo HDMI 4K displeje, rozšírenie PCIe Generation 3, USB 3.1 a GPIO s I2C, SPI, I2S, UART & CAN zbernicou.

Špecifikácie NVIDIA Jetson zahŕňajú nasledujúce.

• Výkon je 10W alebo 15W režimy a 5V vstup.
• CPU je 6-jadrový NVIDIA Carmel 64-bit ARMv 8.2 na 1400 MHz.
• GPU je 384-jadrový NVIDIA Volta pri 1100 MHz cez 48 Tensor Cores.
• DL je duálny motor NVDLA.
• Pamäť je 8 GB 128-bit LPDDR4x pri 1600 MHz.
• 16 GB úložisko eMMC 5.1.
• Kamera je 12x MIPI CSI-2 pruhy | 3×4 alebo 6×2 kamery.
• Až 6 kamier (36 cez virtuálne kanály).
• Teploty od -25°C do 90°C.
• Displej je DP 1.4 alebo eDP 1.4 alebo HDMI 2.0 a/b pri 4Kp60.
• Ethernet je 10 alebo 100 alebo 1000 BASE-T Ethernet.
• USB 3.1 a USB 2.0.

Tento modul je podporovaný celým softvérovým balíkom CUDA-X NVIDIA a tiež JetPack SDK pre vývoj AI. Prevádzkuje veľmi populárne rámce strojového učenia a zložité DNN na niekoľkých tokoch senzorov s vysokým rozlíšením naraz, okrem počítačového videnia, grafiky a multimediálnych aplikácií v reálnom čase v rámci kompletného desktopového prostredia Linuxu.

V súčasnosti vývojári začali navrhovať aplikácie AI pre Jetson Xavier NX pomocou súpravy Jetson AGX Xavier Developer Kit. Ak použijete záplatu vzoru zariadenia v blízkosti JetPack, zariadenie bude fungovať ako Jetson Xavier NX. Tým sa upraví počet jadier GPU a CPU, ktoré je možné získať prostredníctvom softvéru, a nastavia sa taktovacie frekvencie, ako aj napätia jadier v systéme.

Náplasť je úplne reverzibilná, čo sa používa na priblíženie výkonu Jetson Xavier NX. Tento modul bude klasifikovať predvolené režimy výkonu 10W a 15W s dosiahnutím špičkového výkonu medzi 14 a 21 TOP na základe aktívneho režimu. Nástroj nvpmodel sa používa na spracovanie výkonových profilov na úpravu najvyšších frekvencií CLK pre GPU, CPU, rôzne hodiny SoC a radič pamäte spolu s rôznymi klastrami CPU.

Na základe pracovného zaťaženia vyvažuje regulátor DVFS (Dynamic Voltage & Frequency Scaling) frekvencie za behu až po ich najvyššie limity, ako je opísané v aktívnom modeli nvp, čím sa znižuje spotreba energie pri nečinnosti a na základe prevádzky procesora. Nástroj nvpmodel pomáha pri vytváraní a úprave nových režimov napájania na základe TDP a požiadaviek aplikácie.

Modul NVIDIA Jetson prináša výkon superpočítača na hranicu v rámci malého formátu SOM (system-on-module). Rovnaký počet 21 TOPS zrýchlených výpočtov posiela výkon na paralelné spustenie súčasných neurónových sietí a spracovanie údajov z rôznych senzorov s vysokým rozlíšením. Tento modul je ideálny pre vysokovýkonné systémy AI, ako sú lekárske prístroje, komerčné roboty, vstavané systémy AIoT, inteligentné kamery, automatizovaná optická kontrola, senzory s vysokým rozlíšením, inteligentné továrne atď.

softvér

Modul NVIDIA Jetson je jednoducho podporovaný prostredníctvom kombinovaných softvérových architektúr, takže vývojárom softvéru výrazne uľahčí prácu. Tento kombinovaný prístup jednoducho šetrí vývojárom problémy s opakovaným kódovaním a zároveň zlepšuje ich formácie na iných moduloch Jetson.

NVIDIA JetPack SDK je k dispozícii s OS Linux, CUDA-X akcelerovanými knižnicami a API pre rôzne oblasti strojového učenia, ako je počítačové videnie, hlboké učenie atď. Podporuje tiež rámce strojového učenia, ako sú Caffe, TensorFlow, Keras a OpenCV. knižnice.
NVIDIA Jetson ponúka rôzne softvérové ​​nástroje pre svoje moduly, ktoré sú popísané nižšie.

NVIDIA JetPack SDK

Softvérové ​​balíky platformy Jetson ako TensorRT, CUDA Toolkit, cuDNN, GStreamer, OpenCV a Visionworks sú všetky zostavené na L4T prostredníctvom jadra LTS Linux.

Balík ovládačov NVIDIA Jetson Linux

Poskytuje linuxové jadro, ovládače NVIDIA, bootloader, vzorový súborový systém, flashovacie pomôcky a mnoho ďalších pre platformu Jetson.

NVIDIA DeepStream SDK

Ide o súbor rozhraní API a knižníc, ktoré pomáhajú vývojárom pri navrhovaní a usporiadaní silných riešení IVA (inteligentná analýza videa) na platforme Jetson. Používa sa na vytváranie zložitých aplikácií, ako je kódovanie, snímanie obrazu, dekódovanie, odvodenie pomocou TensorRT atď.

NVIDIA Isaac SDK

Ide o súbor knižníc, rozhraní API, ovládačov a ďalších nástrojov, ktoré pridajú AI do robotov novej generácie na navigáciu, vnímanie a manipuláciu. Pomáha teda pri vytváraní a nasadzovaní robotiky poháňanej AI.

Typy NVIDIA Jetson

Modul NVIDIA Jetson sa dodáva s pamäťou, GPU, CPU, vysokorýchlostnými rozhraniami, správou napájania atď. Tieto moduly sú dostupné v rôznych výkonoch, energetickej účinnosti a variáciách tvarových faktorov, aby sa dali využiť v rôznych odvetviach. K dispozícii sú rôzne zariadenia NVIDIA Jetson, ktoré sú popísané nižšie.

NVIDIA Jetson Nano

Modul NVIDIA Jetson Nano je vhodný pre vývojárov alebo študentov a tiež pre začiatočníkov, pretože je určený hlavne na praktické učenie a vyučovanie. Veľkosť tohto modulu je malá, ale jeho energetická účinnosť a výkon sú vysoké, aby bol dokonalý na spustenie viacerých paralelných neurónových sietí, pracovných zaťažení AI a spracovania údajov zo senzorov s vysokým rozlíšením naraz. Modul Jetson Nano je teda veľmi populárnym okrajovým zariadením, ktoré sa používa na výrobu vstavaných produktov a riešení AI.

Tento modul je ideálny pre aplikácie počítačového videnia založené na AI a vykonáva úlohy AI videnia, ako je detekcia objektov, segmentácia obrazu, klasifikácia obrazu atď. Tento modul je veľmi kompatibilný s open source softvérom počítačového videnia a knižnicami strojového učenia OpenCV.

Séria NVIDIA Jetson TX2

Modul NVIDIA Jetson TX2 Series je navrhnutý vo veľkosti kreditnej karty. Medzi vlastnosti tohto modulu patrí najmä GPU NVIDIA Pascal, pamäť až 8 GB, šírka pásma pamäte 59,7 GB/s a štandardné hardvérové ​​rozhrania. Tento modul poskytuje až 2,5-násobný výkon v porovnaní s modulom NVIDIA Jetson Nano.

Tento modul veľmi efektívne prevádzkuje hlboké neurónové siete na okrajových zariadeniach, aby sa dosiahla vyššia presnosť. Moduly, ktoré sú dostupné v sérii, zahŕňajú hlavne Jetson TX2 4GB, Jetson TX2i, Jetson TX2 a Jetson TX2 NX. Modul NVIDIA Jetson TX2 NX jednoducho zdieľa kompatibilitu pinov a tvarových faktorov prostredníctvom Jetson Xavier NX a Jetson Nano.

Zvyšné tri moduly budú mať rovnaký tvarový faktor ako pôvodný modul Jetson TX2. Využitie série TX2 sa jednoducho pohybuje v rôznych odvetviach, ako je poľnohospodárstvo, výroba, biologické vedy, maloobchod atď. Modul Jetson TX2i zo zostávajúcich modulov je najvhodnejší pre vysokovýkonné zariadenia AI, ako sú lekárske zariadenia, kamery strojového videnia a priemyselné roboty, pretože pre jeho silný dizajn.

Tento modul je veľmi rýchle vstavané AI výpočtové zariadenie, ktoré ponúka vysokú energetickú účinnosť ako 7,5 W, superpočítačové možnosti hlavne pre okrajové AI zariadenia a tiež rôzne hardvérové ​​rozhrania na jednoduché začlenenie do rôznych produktov a tvarových faktorov.

NVIDIA Jetson Xavier NX

Modul NVIDIA Jetson Xavier NX je veľmi malý v porovnaní s kreditnou kartou s vysokým výkonom a energetickou účinnosťou. Toto je tiež známe ako najmenší superpočítač AI pre edge & embedded systémy na svete. Tento modul pomáha najmä pri prevádzke kompletných systémov AI.

Funkcie Jetson Xavier NX tiež podporujú cloudové natívne technológie, takže je pre vývojárov jednoduché upgradovať a spravovať produkty AI. Tento modul podporuje všetky populárne modely a rámce AI. Tento modul teda úplne vyhovuje vysokovýkonným systémom AI, ako sú inteligentné kamery, systémy videnia s vysokým rozlíšením poháňané AI, drony, komerčné roboty alebo lekárske vybavenie.

Modul NVIDIA Jetson Xavier NX poskytuje 21 tera operácií za sekundu alebo TOPS na spustenie aktuálneho pracovného zaťaženia AI pri spotrebe 10 W energie. Tvarový faktor tohto modulu je kompaktnejší v porovnaní s kreditnou kartou. Modul Xavier NX prevádzkuje rôzne neurónové siete naraz a spracováva dáta z rôznych senzorov s vysokým rozlíšením. Tento typ modulu sa používa na navrhovanie aplikácií pre vstavané a okrajové výpočtové zariadenia, ktoré vyžadujú vysoký výkon, hoci so značnými obmedzeniami hmotnosti, veľkosti a výkonu.

Séria NVIDIA Jetson AGX Xavier

Modul NVIDIA Jetson AGX Xavier Series je vyvinutý hlavne pre autonómne inteligentné stroje novej generácie. Tento modul poskytuje až 32 TOPS alebo Tera operácií za sekundu výkonu AI pri použití len 10 wattov. Vývojár softvéru jednoducho môže rýchlo usporiadať neurónové siete pomocou sady softvérových nástrojov AI od spoločnosti NVIDIA.

Tento modul poskytuje rôzne špecifikácie a funkcie funkčného zabezpečenia, takže vývojári vytvárajú bezpečnostné alebo priemyselné certifikované produkty. Vďaka vysokému výkonu tohto modulu sú vhodné pre množstvo autonómnych strojov, ako sú logistické a priemyselné roboty, továrenské systémy a veľké drony.

Vývojárska súprava Jetson Xavier NX

Vývojová súprava jetson xavier nx obsahuje solídny energeticky účinný modul Xavier NX používaný pre okrajové zariadenia poháňané AI. Tento modul má niektoré funkcie, ako je cloudová natívna podpora a zrýchľuje balík softvéru NVIDIA len o 10 W s viac ako 10-násobným výkonom v porovnaní s Jetson TX2. Túto vývojársku súpravu používajú výrobcovia inteligentných strojov, začínajúci vývojári AI a vývojári aplikácií na navrhovanie moderných produktov s kompaktným, vysoko presným odvodením AI a energeticky efektívnym tvarovým faktorom.

Jetson AGX Xavier Industrial

Modul Jetson AGX Xavier Industrial je súčasťou série AGX Xavier. Dizajn tohto modulu je tvarový faktor kompatibilný s kolíkmi, ktorý ovláda najaktuálnejšie modely AI v náročných aplikáciách. Tento modul poskytuje rozšírené špecifikácie vibrácií, otrasov, teploty, pokročilé bezpečnostné funkcie, až 4-krát väčšiu pamäť a 20-krát vyšší výkon ako modul TX2i.

Tento modul je veľmi užitočný pre dizajnérov pri navrhovaní automatizácie, robotiky a iných inteligentných produktov. Okrem toho navrhuje aj bezpečnostné certifikované a odolné produkty na poskytovanie vysokého výkonu pre priemyselné, AI zabudované funkčné a bezpečnostné aplikácie v dizajne odolného a zároveň energeticky úsporného tvaru.

Výhody

The výhody NVIDIA Jetson zahŕňajú nasledujúce.

• NVIDIA Jetson je vhodná pre študentov, individuálnych vývojárov a rôzne organizácie.
• Platforma Jetson je veľmi populárna, pretože prichádza s rôznymi výhodami, ako je modulárna flexibilita, jednotný softvér a podpora cloudových natívnych technológií.
• Táto doska poskytuje sadu modulov, ktoré sú veľmi užitočné pre všetko od základných aplikácií AI až po veľmi zložité zariadenia poháňané AI.
• Táto doska je poháňaná prostredníctvom jednotnej softvérovej architektúry, ktorá pomáha vývojárom od opakovaného kódovania. Keď potrebujú kapacitu AI/ML, môžu do zariadenia zahrnúť súvisiaci modul Jetson, ktorý sa postará o ťažké zdvíhanie.
• Platforma NVIDIA Jetson jednoducho podporuje cloudové technológie a pracovné postupy, ako je orchestrácia a kontajnerizácia, čo vývojárom poskytuje možnosť rýchlo vyvíjať a rozširovať produkty AI.
• NVIDIA JetPack SDK je k dispozícii s operačným systémom Linux, rozhraniami API a akceleračnými knižnicami CUDA-X pre rôzne oblasti strojového učenia, ako je počítačové videnie a hlboké učenie. Poskytuje tiež podporu pre rámce strojového učenia, ako sú Caffe a Keras, TensorFlow a OpenCV knižnice počítačového videnia.

Nevýhody

Pri zohľadnení ceny má veľmi málo nevýhod

• Nano modul NVIDIA Jetson nie je k dispozícii s wifi vo vnútri.
• Nano modul NVIDIA Jetson obsahuje iba dva piny PWM na doske.

Aplikácie

Aplikácie NVIDIA Jetson zahŕňajú nasledujúce.

• Modul NVIDIA Jetson ponúka vynikajúce systémy vkladania, ktoré sa používajú na výrobu produktov AI pre rôzne scenáre. Ide o energeticky efektívny modul používaný pre AI, ktorý zahŕňa vysokovýkonné, modulárne a maloformátové okrajové počítače.
• Dosky Nvidia Jetson sú navrhnuté hlavne na použitie vo vstavaných systémoch, ako sú drony, roboty a ďalšie zariadenia, ktoré potrebujú výkonné spracovanie v malom formáte. Medzi bežné aplikácie dosiek Jetson patria najmä medicínske zariadenia, autonómne vozidlá, digital signage, AR/VR headsety, aplikácie smart city atď.
• Tento modul podporuje jednotné softvérové ​​architektúry, aby bola práca vývojárov softvéru oveľa jednoduchšia.
  Moduly a zariadenia NVIDIA Jetson sú optimalizované okrajové zariadenia používané na vývoj systémov Edge AI.
• NVIDIA Jetson Nano Developer Kit je veľmi výkonný a malý počítač, ktorý paralelne prevádzkuje niekoľko neurónových sietí pre rôzne aplikácie, ako je detekcia objektov, klasifikácia obrazu, spracovanie reči a segmentácia.
• Modul NVIDIA Jetson Nano je ideálny pre aplikácie počítačového videnia založené na AI a vykonávajú úlohy AI videnia, ako je segmentácia obrazu, klasifikácia obrazu, detekcia objektov atď.
• Nano moduly NVIDIA Jetson prinášajú neuveriteľné nové možnosti tisícom energeticky efektívnych a malých systémov AI.
• Modul NVIDIA Jetson Nano je kompatibilný s knižnicami strojového učenia OpenCV a softvérom počítačového videnia s otvoreným zdrojovým kódom.

Q). Aká je spotreba energie modulov Jetson?

A). Spotreba energie modulu Jetson sa líši v závislosti od modelu a použitia. Napríklad modul Jetson Xavier má typickú spotrebu energie okolo 15 W až 30 W, zatiaľ čo Jetson TX2 môže mať spotrebu medzi 7 W až 15 W.

Q). Dá sa Jetson použiť na detekciu a sledovanie objektov v reálnom čase?

A). Áno, platformy Jetson dokážu spracovať detekciu a sledovanie zraku. Nano modul je vysokovýkonný GPU s platformou okrajových výpočtov, ktorú možno použiť hlavne na detekciu, počítanie a sledovanie.

Q). S akými typmi senzorov môže Jetson komunikovať?

A). Obrazové senzory sa používajú na prepojenie Jetson s rôznymi rozhraniami kamier, ako sú USB, MIPI CSI a Ethernet. Môžu tiež komunikovať s lidarom, ultrazvukovým senzorom a inými typmi pomocou rôznych typov rozhraní, ako sú I2C, SPI atď.

Q). Aký je rozdiel medzi Jetson a Raspberry Pi?

A). Hlavný rozdiel medzi týmito dvoma doskami je; NVIDIA Jetson bola vyvinutá na zvládanie náročných úloh AI a počítačového videnia, zatiaľ čo doska Raspberry Pi 4 má multimediálny GPU s nízkou spotrebou energie, ktorý sa používa na všeobecné účely a vzdelávanie. Jetson je možné použiť pre pokročilejšie funkcie, ako je hardvérovo akcelerované dekódovanie a kódovanie videa pomocou výkonného GPU (Graphical Processing Unit) a CPU (Central Processing Unit).

Q). Môže byť Jetson použitý pre autonómne robotické aplikácie?

A). Autonómna robotika a priemysel zajtrajška bude poháňaný energiou prostredníctvom NVIDIA Jetson for Intelligent Machines & Robotics.

Teda toto je prehľad NVIDIA Jetson - výhody a ich aplikácie. Tento modul je vedúcou platformou na celom svete, ktorú používajú vývojári na vytváranie pokročilých produktov AI vo všetkých odvetviach. Tieto moduly používajú aj študenti a nadšenci, aby získali praktické skúsenosti s učením AI, aby mohli vytvárať úžasné projekty. Platforma Jetson obsahuje hlavne energeticky efektívne, malé vývojárske súpravy a výrobné moduly. Tu je otázka pre vás, čo je NVIDIA?