import DriveAssetGrid from '@/components/DriveAssetGrid'; import { ImgTag } from '@/components/MDXRenderer'; {/* more */} [mumallaeng/StoneSpring](https://github.com/mumallaeng/StoneSpring) \ [addinedu-ros-8th/deeplearning-repo-3](https://github.com/addinedu-ros-8th/deeplearning-repo-3) > *(KDT) ROS2와 인공지능을 활용한 자율주행 로봇 개발자 양성과정 8기* 교육과정 내에서 *Artificial Intelligence*을 주제로한 과제입니다. 사용자의 외로움을 덜어주고, 일상생활에서 필요한 정보를 비서처럼 알려주며, 정신 건강을 챙겨주는 돌봄 챗봇 GUI 프로그램입니다. \ 향후에는 실제 돌봄 로봇과 결합하여 정서적 교감과 실질적 도움을 동시에 제공하는 통합 서비스를 목표로 개발했습니다. - 사용자 감정 분석 기반 정서 케어 챗봇 - 표정·음성 인식, 자연어 처리, 일정 관리까지 GUI 통합 제공 - PyQt5 기반 데스크탑 앱 + GPT-4o-mini 스트리밍 응답 + DeepFace·Whisper 기반 감정 인식 ## 담당 작업 - 팀장으로 초기 프로젝트 구조를 잡고 PyQt5 채팅 GUI와 실시간 응답 흐름을 구현했습니다. - OpenAI Responses API 기반 스트리밍 출력, 마크다운 응답 처리, 대화 시나리오 정리를 맡았습니다. - STT/TTS 기능과 TCP·UDP 통신 흐름을 GUI에 연결해 음성 입력과 서버 통신이 함께 동작하도록 구성했습니다. - 팀원이 만든 감정·제스처 모듈을 GUI와 통합하는 흐름을 조율했습니다. ## 프로젝트 개요 - **기간**: - 2025.02.27 ~ 2025.04.07 (5주·팀프로젝트) - **팀명**: 낭만(浪漫; NangMan) | 역할 | 이름 (Github) | 작업 | |--------|--------|------| | 팀장 | 김연우 ([@mumallaeng](https://github.com/mumallaeng)) | 프로젝트 초기 설계
PyQt 채팅 GUI 제작
실시간 AI 채팅 기능(TTS, STT, 스트리밍 출력 등) 구현 | | 팀원 | 나덕윤 ([@YuSoYu](https://github.com/YuSoYu)) | 음성 감정 모델 개발 (CNN+LSTM)
MFCC 추출 및 데이터 전처리
마이크 테스트 및 성능 개선 | | 팀원 | 심채훈 ([@Huni0128](https://github.com/Huni0128)) | 제스처 인식 모듈화
MLP·SVC 얼굴 감정 모델 개발
PyQt 기반 GUI 통합 | | 팀원 | 임동욱 ([@Donguk-popo](https://github.com/Donguk-popo)) | 제스처 모델 학습 | ### 기술 스택 | 분류 | 기술 요소 | |------|-----------| | **언어** | Python 3.12 | | **데스크톱 UI** | PyQt5 | | **대화 엔진** | OpenAI Responses API (GPT-4o-mini), python-dotenv | | **음성 인터페이스** | whispercpp_kit (Whisper large-v2), PyAudio, gTTS, playsound | | **비전·제스처** | OpenCV, Mediapipe, DeepFace(ArcFace) + scikit-learn MLP | | **음성 감정 분석** | TensorFlow·Keras, librosa | | **데이터베이스** | MySQL, mysql-connector-python | | **인프라·통신** | Python socket TCP·UDP 서버 | ### 주요 담당 업무 **AI 채팅 시스템 개발** - OpenAI API를 사용한 GPT-4o-mini 모델 스트리밍 출력 구현 - 마크다운 지원 응답 처리 로직 개발 - 케어 상황에 맞는 답변 시나리오 강화 및 학습 데이터 정제 **실시간 통신 시스템 구축** - TCP·UDP 양방향 통신 기반 실시간 챗봇 메시지 송수신 구성 - 채팅 UI·UX 개선을 위한 통신 최적화 **음성 인터페이스 개발** - Whisper.cpp 기반 STT 모델(Large-v2) 연동 - 실시간 음성 인식 처리 시스템 구현 - Google TTS(gTTS)를 활용한 감성 대화용 음성 안내 기능 구성 **프로젝트 관리 및 인프라** - 초기 프로젝트 구조 설계 및 모듈 분담 - 실행 자동화 스크립트(run.sh) 구성으로 팀원 간 로컬 테스트 환경 통일 - 프로젝트 전반에 대한 리팩토링 및 릴리즈 관리 ## 프로젝트 결과 및 자료 {/* ![전체동작](https://github.com/user-attachments/assets/6c8050f3-1440-40ec-9f67-f2b3d8110960) */} ### 구현 ![AI전체](https://github.com/user-attachments/assets/0dcbac9b-3d1b-4d94-b31f-684573bd12fb)

![마이크+채팅1](https://github.com/user-attachments/assets/8de988a7-1bd0-4fe3-8822-911b8467bb7f) ![표정](https://github.com/user-attachments/assets/e94d3320-9f44-4385-926b-8689eeeaa983) ![제스처1](https://github.com/user-attachments/assets/34d1ac60-6068-4ca0-820f-f45152096092) ![제스처2](https://github.com/user-attachments/assets/4cd97090-64e2-468c-92ba-cdb817604f54) ![제스처3](https://github.com/user-attachments/assets/b354fca6-9685-48c3-8e9c-8732424fa46f) ![제스처4](https://github.com/user-attachments/assets/5f9de301-077c-4451-9c32-01432257c53c)

**Voice Emotion Model**

![voice_emotion-1](https://github.com/user-attachments/assets/a27f86b5-0abe-4e4a-b2e4-ba876b7c586d) ![voice_emotion-2](https://github.com/user-attachments/assets/16f9c737-db04-433e-8978-d82c488777d6)

- 데이터셋: AI Hub `감성 및 발화 스타일별 음성합성 데이터` (7개 감정 레이블 구성) - 전처리: - JSON을 Pandas DataFrame으로 변환해 메타데이터와 파일 경로를 정규화 - 클래스 불균형을 조정한 뒤 MFCC(40×100) 스펙트럼을 추출하고 `.npy`에 캐시 - 감정 라벨을 정수 인코딩하여 Softmax 출력과 매핑 - 모델 학습: - TensorFlow 기반 Conv2D → BatchNorm → MaxPool 블록 3단과 Dropout을 포함한 CNN 구조 - 입력 형태 `(40, 100, 1)`을 사용하는 분류기, 마지막 단계는 Dense + Softmax(len(labels)) - `MFCCGenerator`로 배치 단위 로딩, EarlyStopping(patience=30)과 ModelCheckpoint로 학습 안정화 - 평가:

- 학습·검증 손실 곡선을 모니터링하며 최저 `val_loss` 모델을 채택 - 7-class 학습에서 epoch 100~300 구간에서 안정 수렴하며, confusion matrix로 클래스별 오분류를 검토
**Face Emotion Model** ![face_emotion](https://github.com/user-attachments/assets/61e4c2d7-6803-4332-81af-7d1b1a67aa99) - 데이터셋: AI Hub `한국인 감정인식을 위한 복합 영상` (행복·슬픔·분노·중립 4클래스) - 전처리: - 클래스별 5,000장으로 다운샘플링하여 데이터 균형 확보 - MTCNN으로 얼굴 영역을 검출한 뒤 EYE_THRESHOLD로 기울어진 샘플 제거 - 최대 너비 640px 기준으로 리사이징하고, crop 이미지를 저장 - 모델 학습: - DeepFace ArcFace로 512차원 얼굴 임베딩을 생성 - scikit-learn `MLPClassifier(hidden_layer_sizes=(128, 64))`를 사용해 감정 분류 - 일괄 처리와 중간 저장으로 학습 파이프라인을 안정화 - 평가: - 8:2로 분할한 검증 세트에서 `classification_report`를 산출

- happy 클래스 F1 ≈ 0.89로 최고 성능, angry·sad는 0.75~0.78 범위에서 상호 오분류가 발생 - 혼동 행렬을 분석해 분노·슬픔 데이터 보강 계획을 수립
**Gesture Recognition Model** ![gesture](https://github.com/user-attachments/assets/afe35e53-65ef-44eb-bfb2-08a05c1ef85b) - 데이터 수집: - 사용자가 제스처를 10초간 촬영하면 MediaPipe Hands로 21개 손 관절을 추출 - 손 좌표와 관절 각도를 정규화해 30프레임 시퀀스의 99개 특징 벡터로 변환 - 누적 `.npy` 데이터를 기반으로 신규 제스처 추가 시 전체 재학습 가능 - 모델 학습: - 입력 `(30, 99)`을 사용하는 LSTM(64, ReLU) → Dense(32, ReLU) → Softmax(len(actions)) 구조 - 학습 완료 후 실시간 추론에 사용할 가중치를 저장 - 평가: - `gesture_recognize.py` 실시간 테스트에서 확률 0.8 미만 결과를 무시하고, 동일 추론이 3프레임 연속일 때만 제스처로 확정 - 조명 변화와 배경 노이즈 환경에서 반복 시연하며 사용자별 인식률을 검증

### 설계 - [Software Requirement Specification (SRS)](stonespring/software-requirements-specification.md) - [Interface Specification](https://github.com/addinedu-ros-8th/deeplearning-repo-3/wiki/Interface-Specification) - [Login·Signup](stonespring/interface-specification/01-login-signup.md) - [Chat Message](stonespring/interface-specification/02-chat-message.md) - [User Emotion Analysis Result](stonespring/interface-specification/03-user-emotion-analysis-result.md) - [Pet Character Setting](stonespring/interface-specification/04-pet-character-setting.md) - [Pet Training Setting](stonespring/interface-specification/05-pet-training-setting.md) - [Gesture Event](stonespring/interface-specification/06-gesture-event.md) - [User Setting](stonespring/interface-specification/07-user-setting.md) - [Log](stonespring/interface-specification/08-log.md) - [Video Stream](stonespring/interface-specification/09-video-stream.md) - [Audio Stream](stonespring/interface-specification/10-audio-stream.md) - [Diagrams](stonespring/diagram.mdx) - [GUI Specification](stonespring/gui-specification.mdx) - [Implementation](stonespring/implementation.md) #### 시스템 구조 **최종 목표**

v0.1.0

v0.2.0

v0.3.0

#### Data Structure [참고 자료](/activities/stonespring/database-structure.md)

#### Sequence Diagram

### 설치 및 실행 방법 ```shell bash run.sh ``` {/* #### 아쉬웠던 점 및 개선 방향 생각했던 것보다 프로젝트 기간이 짧아, 최종 목표로 설계했던 기능들을 모두 구현하지 못한 점이 아쉬웠습니다.

데이터 구조에서 Chat에 펫 이모션이 있었는데, 오른쪽과 같은 아스키 아트 형태의 이모티콘임. 이를 향후 우리의 로봇인 Pinky와 결합하여 디스플레이에 띄워, 돌봄 챗봇에서 돌봄 로봇으로 업그레이드하는 것을 목표로 하려함. */}