Thiết kế một thiết bị Internet of Things (IoT) dựa trên cảm biến đơn giản không khó, nhưng việc xây dựng một thiết bị IoT với khả năng xử lý máy học biên (ML) lại là một vấn đề hoàn toàn khác. Dòng bộ xử lý chuyên dụng, bo mạch phát triển và phần mềm đi kèm do NXP Semiconductors ra mắt nhằm mục đích giải quyết những thách thức chính về chức năng, hiệu suất và quá trình phát triển, giúp triển khai các chức năng trí tuệ nhân tạo biên phức tạp (AI) nhanh hơn trong các ứng dụng công nghiệp và IoT.
Các nhà thiết kế đã bắt đầu sử dụng các giải pháp AI biên có thể thực hiện suy luận ML trên các thiết bị tiêu thụ điện năng thấp mà không cần dựa vào tài nguyên đám mây. Các chức năng như phát hiện từ đánh thức, phân tích mẫu dữ liệu cảm biến và phát hiện đối tượng cơ bản thường có thể được xử lý bởi các bộ xử lý tiết kiệm năng lượng chạy mô hình ML (được xây dựng bằng các công cụ và khung tối ưu hóa mô hình). Tuy nhiên, tắc nghẽn phát sinh khi bạn cố gắng mở rộng tài nguyên bộ xử lý để xử lý các vấn đề phức tạp hơn, đặc biệt là những vấn đề yêu cầu phản hồi theo thời gian thực hoặc gần thời gian thực.
Cách bộ xử lý đa lõi tăng tốc đáng kể suy luận ML
NXP Semiconductors, với bộ xử lý ứng dụng dòng i.MX 93, có thể dễ dàng giải quyết các thách thức về chức năng và hiệu suất của các thiết kế AI biên thời gian thực mới nổi này (Hình 1).
Hình 1: Bộ xử lý ứng dụng i.MX 93 tích hợp tài nguyên xử lý, hệ thống bảo mật, bộ nhớ và đầy đủ các đồng hồ, bộ hẹn giờ, tùy chọn kết nối và giao diện, đặt nền tảng cho thiết kế AI biên. (Nguồn hình ảnh: Chất bán dẫn NXP)
Dòng bộ xử lý này tích hợp các tính năng phong phú, bao gồm đa phương tiện, lưu trữ, giao diện và tùy chọn kết nối, đồng thời kết hợp các tài nguyên xử lý bắt mắt:
Tối đa hai lõi xử lý ứng dụng Arm Cortex-A55 hiệu suất cao cho các tác vụ xử lý ứng dụng dựa trên Linux
Nền tảng Arm Cortex-M33 tiêu thụ điện năng cực thấp để xử lý điều khiển thời gian thực có độ trễ thấp
Bộ xử lý thần kinh (NPU) microNPU Arm Ethos-U65 để thực hiện suy luận ML hiệu quả
EdgeLock Secure Enclave (ESE) tích hợp của NXP cung cấp nguồn gốc tin cậy để khởi động an toàn và quản lý khóa, mã hóa thời gian thực và các tính năng khác cần thiết để bảo vệ các ứng dụng biên
Bằng cách tận dụng khả năng của các bộ xử lý này, các ứng dụng AI biên lớn có thể được chia thành nhiều phần dễ quản lý: NPU đảm nhận các nhiệm vụ tính toán của các thuật toán mạng thần kinh dày đặc, giảm tải cho lõi Cortex-A55 và tránh chiếm dụng tài nguyên mã ứng dụng đang chạy của chúng. Đồng thời, lõi Cortex-M33 tiếp tục tập trung vào xử lý các tác vụ có độ trễ thấp như thu thập dữ liệu cảm biến hoặc kiểm soát quy trình, trong khi ESE nhúng bảo vệ an ninh hệ thống, mã phần mềm và dữ liệu quan trọng trong toàn bộ quá trình. Phần sau đây sẽ giới thiệu khả năng của NPU giảm tải suy luận máy học từ lõi Cortex-A55, đây là phần hỗ trợ chính để đạt được các ứng dụng AI biên có khả năng phản hồi gần như theo thời gian thực.
Làm thế nào các bảng phát triển phần cứng và phần mềm tăng tốc phát triển ứng dụng
Mặc dù chức năng và hiệu suất của bộ xử lý là rất quan trọng nhưng việc phát triển hiệu quả các ứng dụng AI biên phụ thuộc nhiều hơn vào khả năng nắm bắt nhanh các đặc tính của bộ xử lý và nhanh chóng xây dựng phần mềm hiệu quả. Bo mạch phát triển FRDM-IMX93 của NXP (Hình 2), kết hợp với các tài nguyên phát triển phần mềm đi kèm, có thể cung cấp mọi thứ cần thiết để bắt đầu tạo ứng dụng.