Proyek UAS Elektronika Lanjut: Smart Attendance dan Kendali Pintu Otomatis Berbasis Face Recognition

Nama : Aika Azhar Suci Ramadhani NIM : 1247030014 Dosen Pengampu : Mada Sanjaya WS, M.Si., Ph.D Mata Kuliah : Elektronika Lanjut 👋 Halo semuanya! Video ini membahas tentang Sistem Absensi dan Kendali Pintu Otomatis berbasis Face Recognition menggunakan FaceNet, MQTT, dan ESP32. Pada proyek ini dilakukan beberapa implementasi sistem, yaitu: 📷 Face Detection 🧠 Face Recognition menggunakan FaceNet 📝 Smart Attendance System 📡 MQTT Communication 🔓 Smart Door Access Control 🖥️ GUI Smart Attendance System ⚡ Prinsip Kerja Sistem • Webcam menangkap citra wajah secara realtime • Sistem mendeteksi wajah menggunakan Haar Cascade • FaceNet melakukan ekstraksi fitur wajah menjadi embedding • Embedding wajah dibandingkan dengan database pengguna yang telah terdaftar • Sistem menentukan identitas pengguna berdasarkan nilai kemiripan • Jika wajah dikenali, sistem mencatat absensi secara otomatis • Sistem mengirim perintah OPEN melalui MQTT • ESP32 menerima perintah dan membuka pintu menggunakan servo • Jika wajah tidak dikenali, sistem mengirim perintah DENY • ESP32 menampilkan status akses menggunakan OLED dan LED indikator 🧠 Teknologi yang Digunakan • Python • OpenCV • Haar Cascade Classifier • FaceNet • NumPy • Pickle • Pandas • MQTT (HiveMQ) • ESP32 • OLED SSD1306 • Servo SG90 • Tkinter GUI • PIL / ImageTk • Artificial Intelligence • Internet of Things (IoT) 🖥️ Fitur Sistem yang Dibahas ✅ Face Detection ✅ Face Recognition ✅ Smart Attendance Recording ✅ MQTT Communication ✅ Smart Door Control ✅ OLED Status Display ✅ LED Access Indicator ✅ GUI Smart Attendance System ⚙️ Tahapan Sistem 1. Pembuatan Dataset • Pengguna memasukkan nama • Webcam mengambil citra wajah • Sistem menyimpan dataset wajah ke folder masing-masing pengguna • Dataset digunakan sebagai data pelatihan FaceNet 2. Training FaceNet • Dataset wajah dibaca oleh sistem • FaceNet menghasilkan embedding wajah • Embedding setiap pengguna dirata-ratakan • Database wajah disimpan ke file data.pkl 3. Face Recognition Real-Time • Webcam menangkap wajah pengguna • FaceNet menghasilkan embedding wajah baru • Embedding dibandingkan dengan database • Sistem menentukan identitas pengguna • Status akses diberikan berdasarkan hasil identifikasi 4. Komunikasi MQTT • Python bertindak sebagai Publisher • ESP32 bertindak sebagai Subscriber • Perintah OPEN dikirim jika wajah dikenali • Perintah DENY dikirim jika wajah tidak dikenali 5. Kendali ESP32 • Servo membuka pintu saat menerima OPEN • LED hijau menyala saat akses diterima • LED merah menyala saat akses ditolak • OLED menampilkan status sistem secara realtime ✨ Hasil Pengujian Sistem mampu: • Mendeteksi wajah secara realtime • Mengenali wajah yang telah terdaftar • Menolak wajah yang tidak terdaftar • Mencatat absensi secara otomatis • Mengirim data MQTT secara realtime • Mengendalikan servo sebagai simulasi pintu otomatis • Menampilkan status akses pada OLED • Menampilkan indikator akses menggunakan LED Namun sistem masih memiliki beberapa keterbatasan, seperti: • Dipengaruhi kondisi pencahayaan • Dipengaruhi posisi dan sudut wajah • Dipengaruhi kualitas kamera yang digunakan • Belum memiliki fitur anti-spoofing atau liveness detection 📚 Kesimpulan Sistem absensi dan kendali pintu otomatis berbasis Face Recognition berhasil diimplementasikan menggunakan FaceNet, MQTT, dan ESP32. Sistem mampu melakukan deteksi dan pengenalan wajah secara realtime, mencatat absensi secara otomatis, serta mengendalikan akses pintu berdasarkan hasil identifikasi pengguna. Komunikasi MQTT berhasil menghubungkan aplikasi Python dengan ESP32 sehingga proses monitoring dan kontrol dapat dilakukan secara realtime. Meskipun masih memiliki keterbatasan terhadap pencahayaan dan belum dilengkapi fitur anti-spoofing, sistem telah menunjukkan penerapan Artificial Intelligence dan Internet of Things yang berjalan dengan baik pada aplikasi keamanan dan manajemen kehadiran. Sistem ini masih dapat dikembangkan lebih lanjut untuk kebutuhan: • Smart Attendance System • Smart Building • Smart Office • Smart Campus • Access Control System • IoT Security System 🎓 Tugas Mata Kuliah Elektronika Lanjut Jurusan Fisika UIN Sunan Gunung Djati Bandung #FaceRecognition #FaceNet #ArtificialIntelligence #ComputerVision #IoT #MQTT #ESP32 #Python #OpenCV #SmartAttendance #SmartDoorLock #MachineLearning #ElektronikaLanjut