AI di tepi jaringan jarang hanya berarti inferensi. Penerapan di dunia nyata biasanya melibatkan input/output (I/O) berkecepatan tinggi, pengkondisian sinyal, dan loop kontrol waktu nyata, yang semuanya dijalankan secara bersamaan. Beban kerja multifungsi ini memerlukan koordinasi yang ketat dan kepastian yang tinggi, dan para desainer merasa kesulitan untuk memenuhi persyaratan ini menggunakan perangkat keras AI yang umum.
Ada dua faktor yang menjadikan masalah ini semakin kompleks. Pertama, model AI berkembang dengan kecepatan yang luar biasa, mendorong para desainer untuk mengadopsi platform yang mendukung pembaruan algoritma yang cepat. Sementara itu, banyak sistem edge yang telah digunakan di lokasi hingga sepuluh tahun atau lebih, sehingga sulit untuk memastikan kemampuan adaptasi jangka panjang. Kedua, jalur dari model yang terlatih hingga penerapan dan implementasi sistem masih terfragmentasi. Ilmuwan data menggunakan PyTorch dan TensorFlow, sementara tim tertanam menggunakan toolchain yang sangat berbeda, sehingga menimbulkan gesekan selama proses serah terima dan memperlambat kecepatan produksi.
Untuk mengatasi tantangan ini, platform harus mampu menggabungkan pemrosesan AI dengan throughput tinggi dengan perilaku deterministik, I/O yang fleksibel, dan kemampuan beradaptasi jangka panjang, yang semuanya harus dicapai dalam kisaran konsumsi daya pada penerapan edge yang terbatas.
Artikel ini berfokus pada skenario aplikasi dan persyaratan terkait yang menantang desainer untuk mengeksplorasi arsitektur edge AI baru. Kemudian, mereka memperkenalkan perangkat field programmable gate array (FPGA) dan perangkat lunak Altera yang mendukung edge AI, serta mendemonstrasikan cara memanfaatkannya untuk memenuhi beragam kebutuhan kinerja dan daya dari aplikasi-aplikasi ini.
Evolusi edge AI membutuhkan inovasi arsitektur
Sistem edge semakin banyak yang mengadopsi beragam teknologi AI, termasuk pembelajaran mesin klasik (ML) untuk deteksi anomali, jaringan saraf konvolusional (CNN) untuk persepsi, dan konverter untuk model bahasa besar (LLM). Algoritme komputasi intensif ini sering kali berdampingan dengan fungsi non-AI yang menuntut seperti pemrosesan sinyal, komunikasi jaringan, dan kontrol real-time.
Sistem otonom adalah contoh yang baik. Mereka biasanya perlu menangkap data dari berbagai modalitas sensor seperti video, audio, radar, LiDAR, dan umpan balik gerakan/posisi, melakukan pra-proses aliran data ini dengan throughput tinggi, menganalisis hasilnya menggunakan AI yang kompleks, dan kemudian mengelola loop kontrol presisi tinggi, yang semuanya memerlukan determinasi yang andal.
Ada banyak contoh serupa dalam otomasi industri, pencitraan medis, pertahanan, dan aplikasi telekomunikasi. Tantangan umum yang mereka hadapi adalah arsitektur tradisional sulit beradaptasi dengan beban kerja yang terus-menerus terkonvergensi.
Mengapa FPGA sangat cocok untuk edge AI
Sebaliknya, persyaratan ini sepenuhnya kompatibel dengan fungsi FPGA. Inti dari FPGA adalah menyediakan logika yang dapat dikonfigurasi untuk melakukan operasi dengan cara yang benar-benar paralel, dengan perilaku pengaturan waktunya tertanam pada waktu desain, bukan berfluktuasi saat waktu proses. Arsitektur ini dapat mencapai determinisme latensi rendah, yang sangat penting untuk edge AI. Logika fleksibel juga dapat memanfaatkan I/O yang kuat: FPGA biasanya menyediakan banyak I/O berkecepatan tinggi, yang dapat dihubungkan ke berbagai sensor dan aktuator untuk mencapai penggabungan yang erat dengan pemrosesan AI.
FPGA juga mencakup memori internal terdistribusi, yang memungkinkan data diakses oleh logika yang beroperasi di dalamnya. Hal ini mengurangi hambatan yang muncul ketika beberapa tahapan pemrosesan harus bersaing untuk mengakses bus memori bersama, yang merupakan batasan umum dalam arsitektur berbasis prosesor.
Banyak FPGA juga mengintegrasikan perangkat keras pemrosesan sinyal digital (DSP) khusus. Dibandingkan dengan struktur konvensional, sirkuit yang ditingkatkan ini memberikan kinerja yang lebih tinggi dan efisiensi energi yang lebih baik untuk beban kerja pemrosesan sinyal. Beberapa FPGA juga mengintegrasikan sistem prosesor berkabel yang dapat menjalankan tumpukan perangkat lunak standar (termasuk Linux), memungkinkan pengembangan perangkat lunak tradisional untuk tugas-tugas seperti jaringan, manajemen perangkat, dan antarmuka pengguna.
Singkatnya, satu FPGA dapat mengintegrasikan fungsi-fungsi yang mungkin memerlukan chip I/O terpisah, akselerator AI, DSP, dan prosesor bidang kendali. Hal ini dapat mengurangi Bill of Materials (BOM), mengecilkan area papan sirkuit, menurunkan konsumsi daya, sekaligus mempertahankan latensi rendah dan kepastian yang diperlukan untuk aplikasi edge AI.
Cara membuka kemungkinan baru dengan penambahan blok tensor AI
Perangkat keras DSP FPGA tradisional sudah sangat cocok untuk banyak beban kerja edge, tetapi inferensi AI sering kali mengandalkan operasi perkalian yang padat namun presisi rendah. Untuk mengatasi masalah ini, perangkat Agilex 3 dan Agilex 5 Altera menggunakan DSP yang disempurnakan dengan blok tensor AI. Ini adalah perangkat keras khusus untuk perkalian matriks dan matriks vektor, yang berulang kali muncul dalam grafik komputasi AI.
Inti dari metode ini adalah produk skalar dan mesin penambah/akumulator (Gambar 1). Dalam mode tensor, mesin titik berkabel menggunakan input 8-bit dan bobot 8-bit yang dimuat sebelumnya untuk menjalankan produk titik 10 elemen. Untuk memperluas rentang dinamis, jalur data juga dapat menggunakan "indeks umum" bersama untuk penskalaan floating point blok guna mengatasi skenario umum di mana inferensi AI biasanya memerlukan rentang dinamis tinggi tetapi akurasi rendah.