首先，讓我們來了解一下是什么在推動邊緣的人工智能的發(fā)展。傳感器技術(shù)和經(jīng)濟(jì)的進(jìn)步創(chuàng)造了聯(lián)網(wǎng)設(shè)備的繁榮，也被稱為物聯(lián)網(wǎng)。這些設(shè)備正在提高生產(chǎn)力。
將攝像頭和其他傳感器連接到互聯(lián)網(wǎng)上，有助于創(chuàng)建智能工廠和智能家庭。
更重要的是，將視頻從在線攝像頭傳輸?shù)交谠频囊曈X識別服務(wù)會使現(xiàn)有的網(wǎng)絡(luò)容量超載，導(dǎo)致響應(yīng)速度變慢。
IT設(shè)備的數(shù)量正在呈指數(shù)級增長，據(jù)預(yù)測，到2025年將達(dá)到1500億臺設(shè)備，到2030年將超過1萬億臺設(shè)備，這為處于邊緣的AI提供了巨大的機(jī)會。
為了解決剛才提到的最新挑戰(zhàn)。NVIDIA創(chuàng)建了Jetson平臺。而NVIDIA Jetson平臺是為創(chuàng)建軟件定義的自主機(jī)器而設(shè)計(jì)的。它是一個開放平臺，已被超過45萬名注冊開發(fā)者廣泛采用。
這個平臺由三部分組成，第一部分是由CUDA GPU支持的Jetson電腦，第二部分是大量的工具、SDK和庫，第三部分是NVIDIA打造的生態(tài)。
NVIDIA Jetson產(chǎn)品是以系統(tǒng)和模組的形式出現(xiàn)。每個模組具有不同內(nèi)存，不同的功率、不同性能和外形規(guī)格，可用于各種應(yīng)用。關(guān)于Jetson模組，最重要的一點(diǎn)是，它們在所有方面都具有相同的軟件架構(gòu)，以便在不同的產(chǎn)品組合中利用你的投資。
從入門的Jetson NANO產(chǎn)品到目前最高端的Jetson AGX Xavier。Xavier 30%用于設(shè)計(jì)復(fù)雜的、完全自主的系統(tǒng)，例如戶外遞送機(jī)器人，該系統(tǒng)需要運(yùn)行多個模型以進(jìn)行實(shí)時(shí)感知和控制，并處理來自多個傳感器的高帶寬數(shù)據(jù)。
Jetson家族的新成員是Jetson AGX Xavier NX，比一張名片還小，每秒運(yùn)算20萬億次，功率只有15瓦，這使得NX成為當(dāng)今市場上最小、最強(qiáng)大的計(jì)算機(jī)。
它的小尺寸和高性能的結(jié)合，使其能夠廣泛的應(yīng)用。例如便攜式醫(yī)療設(shè)備、自主無人機(jī)和自動光學(xué)檢查系統(tǒng)。
NVIDIA Jetson系列可以幫助用戶從頭開始設(shè)計(jì)自主機(jī)器，并提供了更多的不僅僅是一個加速器。
你可以在這里看到Jetson AGX xavier中提供的各種子系統(tǒng)，其中包括一個易于編程的CUDA，使GPU也可以用于圖形或其他加速計(jì)算功能。然后是Tensor Cores，用于人工智能處理和一個深度學(xué)習(xí)加速器(DLA)，專注于提供高效率，一個組合操作的深度學(xué)習(xí)。還有一個高性能的多核CPU執(zhí)行所有串行任務(wù)。
多媒體處理器的功能包括如編碼，解碼，縮放等，還有一個圖像處理器來處理來自圖像傳感器的原始像素?cái)?shù)據(jù)；一個用于普通計(jì)算機(jī)視覺任務(wù)的視覺處理器，以及高速I/O(如USB、以太網(wǎng)和PCIe)，并將所有這些進(jìn)程連接在統(tǒng)一的內(nèi)存架構(gòu)中，以最小的延遲和最大的狀態(tài)真正實(shí)現(xiàn)并行處理。
除了模組外，NVIDIA還提供開發(fā)套件，具備各種接口，可以作為獨(dú)立的下一代計(jì)算機(jī)來使用。
它包括一個基于linux的開放操作系統(tǒng)，該系統(tǒng)提供了一個完整的內(nèi)核源代碼和工具，支持使用加密和安全引導(dǎo)等方式進(jìn)行生產(chǎn)，以附加傳感器和外設(shè)。還提供了常用I/O的驅(qū)動程序。對于板載硬件加速器進(jìn)行大量多媒體處理，NVIDIA提供了通用的API用于對各種格式進(jìn)行編解碼。
在圖形方面，NVIDIA提供了vullan和openGL支持，支持X11 Wayland和LidDRM用于顯示。
在基于底層的cuda - x上，NVIDIA為深度學(xué)習(xí)提供了TensorRT、cuDNN等庫，為計(jì)算機(jī)視覺提供visionworks庫。以及其他基礎(chǔ)的加速計(jì)算庫，如cuBLAS和cuFFT。
Jetpack的另一個關(guān)鍵組件是開發(fā)工具，它在主機(jī)上運(yùn)行，允許開發(fā)人員交叉編譯配置文件和調(diào)試他們的應(yīng)用程序。
將所有的關(guān)鍵組件作為一個SDK提供給開發(fā)人員，讓開發(fā)人員的工作更輕松，讓他們更容易地進(jìn)行開發(fā)并進(jìn)入生產(chǎn)類，而不需要花費(fèi)大量的時(shí)間。
NVIDIA TensorRT是包含在Jetpack中并支持jetson的AI關(guān)鍵庫之一。TensorRT包括一個編譯器和一個運(yùn)行時(shí)，允許開發(fā)人員在任何流行的AI框架（如tensorflow和pytorch）上訓(xùn)練他們的模型，并以最小的內(nèi)存占用將它們部署到邊緣，利用產(chǎn)品的底層架構(gòu)提供高性能。
TensorRT包含了量化，層融合，內(nèi)核審計(jì)，多流執(zhí)行等等。因此，開發(fā)人員可以快速地從訓(xùn)練模型到將模型部署到邊緣。由于人工智能項(xiàng)目開發(fā)和部署過程固有的迭代性，NVIDIA的統(tǒng)一架構(gòu)所提供的從訓(xùn)練到推理的無縫工作流程，對于人工智能項(xiàng)目的成功至關(guān)重要。
這些模型采用不同的訓(xùn)練框架，它們有不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，但它們都可以用TensorRT在同一個jetson設(shè)備上編譯和運(yùn)行。
這些基準(zhǔn)測試對于了解我們平臺的計(jì)算機(jī)功能及其靈活性非常有用。它們遠(yuǎn)遠(yuǎn)不足以為您的產(chǎn)品選擇合適的平臺。因此，讓我來解釋一下，為什么在為實(shí)際應(yīng)用選擇產(chǎn)品時(shí)，您除了基準(zhǔn)測試還需要考慮更多。
人工智能推理從根本上講是一個多維問題，第一個是模型的類型，正如我們前面所看到的，人工智能的研究進(jìn)展很快，我們經(jīng)?？吹叫碌哪Ｐ徒Y(jié)構(gòu)。如果我們今天選擇一個模型，很有可能在六個月內(nèi)，他會想用一些不同的東西來更新，這樣可以提供更好的準(zhǔn)確性和性能，所以選擇一個能夠加速每一個模型的平臺是很重要的。
維度是輸入分辨率。早期基準(zhǔn)測試都是顯示非常小的分辨率輸入的性能。并且用于圖像或者比賽或其他學(xué)術(shù)研究。但是在實(shí)踐中，您需要探索什么輸入分辨率將對您的問題有效。
第三個是框架的選擇?，F(xiàn)在開發(fā)人工智能項(xiàng)目的公司最大的挑戰(zhàn)是尋找人工智能開發(fā)人員。所以如果你把這個解決方案局限于一個特定的框架，你將關(guān)閉一個巨大的人才庫的大門。
第四個是流處理的批處理大小。對于許多用例，您需要處理多個傳感器。多個輸入。基準(zhǔn)測試顯示單個輸入的性能非常好。但是，當(dāng)您添加更多信息時(shí)，性能并不是均勻分布的。
最后一個是量化。雖然量化確實(shí)有助于減少計(jì)算需求，但它通常需要付出很大的努力，而且在許多情況下是不可行的。例如，客戶需要區(qū)分細(xì)微特征差異，他們絕對必須使用FP32來獲得期望精度。擁有在多維空間中迭代的靈活性是很重要的，而NVIDIA Jetson平臺，你可以靈活地探索，他們可以在所有這些維度上進(jìn)行交易，在最短的時(shí)間內(nèi)構(gòu)建出最好的產(chǎn)品。
這是第三方基準(zhǔn)，其中包含幾乎所有商用解決方案，跨各種工作負(fù)載和場景的性能。事實(shí)上，Jetson是唯一能夠運(yùn)行所有場景和工作負(fù)載的平臺。
光靠推理是不夠的。我們需要加速整個流程以實(shí)現(xiàn)性能目標(biāo)。NVIDIA將Deepstream作為SDK，Deepstream旨在加速流視頻分析所需的完整堆棧。它是一個模塊化的SDK，允許開發(fā)人員為智能視頻分析（IVA）構(gòu)建一個高效的管道。您在這里看到的是一個典型的IVA管道，由Deepstream插件構(gòu)建，它支持插件使用的底層硬件、管道的每個功能，并利用硬件體系結(jié)構(gòu)移動數(shù)據(jù)，而無需任何內(nèi)存拷貝。
NVIDIA創(chuàng)建了isaac作為機(jī)器人SDK。Isaac包含一個引擎，允許您以模塊化的方式構(gòu)建復(fù)雜的應(yīng)用程序圖，還包括各種常見的gem，以及構(gòu)建移動機(jī)器人所需的AI功能以及可視化和調(diào)試工具。
不同的gem被映射到系統(tǒng)上不同的硬件以加速。引擎可以實(shí)現(xiàn)高效的數(shù)據(jù)流。您在這里看到的是isaac提供的一個示例應(yīng)用程序（稱為carter）的圖表。它利用定位、地圖繪制、避障等多種方法來規(guī)劃構(gòu)建一個自主的室內(nèi)移動機(jī)器人。
但總而言之，Jetson平臺配備了一套詳盡的軟件，可以方便快捷地開發(fā)智能城市、工廠、物聯(lián)網(wǎng)、醫(yī)療保健、農(nóng)業(yè)等領(lǐng)域的人工智能應(yīng)用程序。
這是NVIDIA歷代Jetpack的版本。
NVIDIA還積累了一個廣泛的生態(tài)系統(tǒng)合作伙伴平臺，可以幫助客戶加快AI產(chǎn)品的上市時(shí)間。無論您是需要一個現(xiàn)成的系統(tǒng)用于初始原型，還是一個定制的設(shè)計(jì)用于大規(guī)模生產(chǎn)。生態(tài)系統(tǒng)合作伙伴可以幫助你。
除了傳感器和硬件合作伙伴，他們還擁有廣泛的軟件生態(tài)系統(tǒng)，可以為特定行業(yè)領(lǐng)域提供嵌入式解決方案，還有云服務(wù)提供商提供云集成、設(shè)備管理和監(jiān)控解決方案。以及為嵌入式系統(tǒng)提供定制優(yōu)化和集成服務(wù)的合作伙伴。
我們看到了基于Jetson平臺的人工智能解決方案在各種各樣的用例和行業(yè)中的巨大成功和部署。這些解決方案不僅有助于他們的工業(yè)提高生產(chǎn)力，而且使我們的世界更安全、更健康、更幸福。
NVIDIA在Jetson平臺上投入巨大的資源和研發(fā)力量，并有一個堅(jiān)實(shí)的產(chǎn)品路線圖。所有綠色產(chǎn)品是目前已經(jīng)發(fā)布或發(fā)售的，展望未來。2021年，NVIDIA計(jì)劃NANO的下一個入門級產(chǎn)品NANO Next，然后是基于Orin的產(chǎn)品。
與商業(yè)級Jetson產(chǎn)品類似，NVIDIA還計(jì)劃繼續(xù)為工業(yè)環(huán)境提供產(chǎn)品，這需要高可靠性的運(yùn)行壽命和長達(dá)10年的供應(yīng)。NVIDIA預(yù)計(jì)在2021年年中推出工業(yè)級Xavier 32G模組，然后在2022年后推出工業(yè)級Orin產(chǎn)品。
Jetson是一個開放的平臺，NVIDIA提供了各種開發(fā)資源供開發(fā)者學(xué)習(xí)和了解。
希望本篇能夠讓您比較系統(tǒng)性地了解Jetson產(chǎn)品
