Tóm tắt: Trong những năm gần đây, sự phát triển của xe tự hành đã đạt được những tiến bộ đáng kể nhờ những đột phá trong công nghệ. Tuy nhiên, các điều kiện thời tiết bất thường như mưa lớn, tuyết rơi hoặc sương mù dày đặc có thể ảnh hưởng đến việc ra quyết định của xe tự hành khi tham gia giao thông từ đó làm giảm khả năng phản ứng hoạt động và ảnh hưởng không nhỏ đến mức độ an toàn. Mục tiêu của khóa luận này là thiết kế hệ thống nhúng sử dụng học sâu có khả năng phát hiện và phân loại điều kiện thời tiết trong mọi tình huống bất kể bình thường hay bất thường để giúp xe tự hành đưa ra quyết định phù hợp, nâng cao tính an toàn và khả năng thích ứng. Khóa luận này sẽ thực nghiệm hiệu suất của việc triển khai ba mô hình dựa trên các mạng nơ-ron tích chập (CNN): ResNet50, EfficientNetB0, SqueezeNet trên Raspberry Pi 4. Các công việc chính trong khóa luận này bao gồm: thu thập và tiền xử lý dữ liệu; sử dụng kỹ thuật transfer learning huấn luyện ba mô hình sử dụng ba mạng CNN khác nhau; chuyển đổi các mô hình đã huấn luyện sang dạng tflite và lượng tử hóa float16; cuối cùng triển khai lên thiết bị nhúng và đánh giá kết quả thực tế. Quá trình thực nghiệm cho thấy mô hình EfficientNetB0 cho ra kết quả tốt nhất. Sau khi đã được lượng tử hóa thì mô hình EfficientNetB0 có thể nhận diện thời tiết bất thường thời gian thực với tỉ lệ chính xác là 88% trên tập dữ liệu kết hợp từ 2 tập ảnh DAWM2020 và MCWCD2018, thời gian xử lý trung bình là 0,196 giây, tốc độ xử lý là 4,8 FPS khi chạy trên Raspberry Pi4. Từ kết quả thu được cho thấy hệ thống được thiết kế hoạt động tốt, đáp ứng được yêu cầu của khóa luận.
Từ khóa: Phát hiện thời tiết bất thường; Transfer learning; CNNs; Raspberry Pi4; Xe tự hành
