You are currently viewing {KLTN} THIẾT KẾ PHẦN CỨNG CHO LỚP SOFTMAX TRONG MẠNG NƠ-RON DNN

{KLTN} THIẾT KẾ PHẦN CỨNG CHO LỚP SOFTMAX TRONG MẠNG NƠ-RON DNN

Tóm tắt: Hiện nay, học máy ngày càng chứng minh được vai trò của mình trong việc trở thành một yếu tố quyết định sự phát triển và cạnh tranh của các quốc gia và doanh nghiệp. Mạng nơ-ron là một nhánh quan trọng của học máy, đang góp phần quan trọng trong nhiều ứng dụng như xử lý ngôn ngữ tự nhiên, nhận dạng hình ảnh, dự đoán chuỗi thời gian và nhiều lĩnh vực khác. Trong bối cảnh này, việc tối ưu hóa và tăng tốc tính toán cho mạng nơ-ron trở thành mối quan tâm của nhiều người, nhiều doanh nghiệp. Softmax là lớp cuối cùng trong mạng nơ-ron, cụ thể là các mô hình mạng nơ-ron sâu (DNNs – Deep Neural Networks), mạng nơ-ron tích chập (CNNs – Convolutional Neural Networks)… với nhiệm vụ chuyển đổi đầu ra lớp trước đó thành xác suất, từ đó tính được khả năng xuất hiện của một đối tượng trong tổng số các đối tượng có thể xuất hiện. Đồ án này sẽ trình bày phương pháp nghiên cứu, thiết kế, mô phỏng và thực nghiệm phần cứng tăng tốc cho lớp Softmax trên FPGA (Field Programmable Gate Arrays). Các công việc chính bao gồm nghiên cứu mô hình toán học của lớp Softmax, đưa ra thiết kế phần cứng chi tiết cho lớp Softmax từ mô hình toán học, mô tả lại thiết kế bằng ngôn ngữ mô tả phần cứng Verilog ở mức RTL (Register Transfer Level), sau đó được tổng hợp và mô phỏng trên phần mềm Vivado. Từ đó, đóng gói thiết kế thành lõi IP (Intellectual Property), xây dựng SoC (System on Chip) và kiểm chứng trên mạch, đáp ứng được yêu cầu của đồ án tốt nghiệp.
Từ khóa: Mạng nơ-ron, CNN, DNN, Deep Learning, Học máy, FPGA.

Nội dung Khóa luận đã được công bố dưới dạng bài báo trên IEEE: RTL Design of an Accelerator for Softmax Layer in Deep Neural Networks

 

Nguyễn Kiêm Hùng

Hung K. Nguyen studied “Electronic Engineering” in both his bachelor’s and master’s degrees at the Vietnam National University, Hanoi, Vietnam. He received the bachelor’s degree in 2003. After receiving his bachelor’s degree, He worked as an internship in the Research Center of Electronics and Telecommunications. In 2006, He received the master’s degree in electronic engineering from VNU University of Engineering and Technology (VNU-UET). Before pursuing his Ph.D’s degree, He worked as a researcher at the Laboratory for Smart Integrated Systems in VNU University of Engineering and Technology for two years. In 2008, He went to Southeast University, Nanjing, China to get his Ph.D degree. He received the Ph.D. degree in Microelectronics and Solid State Electronics from Southeast University in 2013. After got his Ph.D’s degree, He returned to VNU University of Engineering and Technology to continue his research in VLSI design. He works currently as an assistant professor and senior researcher at VNU Key Laboratory for Smart Integrated Systems. His research interests mainly include multimedia processing, reconfigurable computing, and SoC designs.

Trả lời