Python 3.11
영상 인식·제어 코드 실행
캡스톤 디자인
자율주행 · 제스처 인식
개발 배경 / 2025년 전국 교통사고 통계
2025년 횡단보도 내
보행 사망자
전체 보행 사망자 926명 중 27.0%
횡단보도 내 부상자 11,322명
신호 유무를 구분하지 않은 횡단보도 전체 기준
무신호 횡단보도만의 사고 비율과는 다름
경찰청 경찰통계자료
보행자의 사고 시 상태별 사상자 · 확인: 2026.10.23
보행자는 횡단을 기대하고, 차량은 출발하는 상황
개발 목표 / 무신호 횡단보도 상황의 모형 실험

“차량이 내 손짓을 이해했는지
보행자도 확인할 수 있게”
횡단보도 상황에서 실제 손의
GO·STOP 제스처를 구분
제스처에 따라 정차를 유지하거나
정해진 대기 시간 후 출발
디스플레이의 색상·움직임으로
보행자에게 차량 상태 전달
검증 범위: 모형 트랙·레고 보행자·실제 손 제스처
실제 사고 감소 효과와 공공도로 안전성은 별도 검증 필요
Pipeline
Pipeline
Pipeline
Pipeline
01 / 제스처 시연
01 / 제스처 시나리오
02 / 주행 테스트
목적: 횡단보도 사고율 감소 및 교통 체증 완화
감사합니다
추가 자료 / 공통 기술
영상 인식·제어 코드 실행
카메라 입력·로봇 구동
파이 카메라 영상 수신
상태 조회·조작 API
Flask 웹 페이지 구성
화면 구조·스타일 정의
조작 입력·상태 갱신
JPEG 프레임 실시간 전송
추가 자료 / 자율주행
윤곽선·차선 후보 검출
영상 배열·경로 위치 계산
DC 모터·조향 서보 제어
GPIO 핀·PWM 신호 출력
경로 오차에 따른 조향 보정
노란 경계·흰 표시 분리
주변 밝기·국소 대비 계산
검출 영역의 작은 틈 연결
추가 자료 / 자율주행 처리 과정

분석 영상 축소·ROI 설정 후
HSV로 노란 경계와 흰 표시 추출
검은 노면을 확인하고 Gaussian Blur로
구한 주변 밝기와 흰 표시의 대비 계산
작은 틈을 보완하고 면적·형상으로
점선 후보를 선별
같은 경로의 점선을 연결하고
노란 경계·노면으로 유효성 확인
Canny·Hough·투시 변환은 비교 실험에만 사용
추가 자료 / 자율주행 제어
같은 경로에 속한 점선으로
전방 목표 위치를 계산
중앙 기준과 목표점의 차이에
전방 경로의 기울기를 함께 반영
서보 명령 범위·변화 속도를 제한하고
DC 모터 보정과 커브 감속 적용
경로 상실·영상 지연·통신 이상 시 정지 처리
서보 명령값은 실제 바퀴 각도와 다름
추가 자료 / 제스처
손 관절 21개 추출
유클리드 거리로 GO·STOP 분류
관절 좌표·유사도 계산
영상 처리·인식 결과 표시
손 위치·크기 차이 보정
연속 프레임의 관절 정보 결합
최근 분류 결과의 흔들림 완화
차량 GO는 빨강·STOP은 초록
추가 자료 / 제스처 전처리

RGB 변환 후 MediaPipe로
x·y·z 좌표를 수집
손목 좌표를 빼 원점으로 이동한 뒤
손 크기로 나누어 특징을 비교
30개 프레임을 시간 순서로 연결해
1,890개 특징값을 KNN에 전달
30프레임의 시간 길이는 처리 속도에 따라 달라짐
현재 정규화는 손의 회전까지 보정하지 않음
추가 자료 / 제스처 판단
NPZ 특징·라벨을 불러오고
NumPy로 유클리드 거리 계산
STOP 2 : GO 1 STOP
평균 거리가 크거나 손 정보가 부족하면 미인식
표시는 최근 5회 다수결·최대 1초 유지
유지된 표시와 현재 제어 판단은 분리
GIF가 실제 정지·횡단 안전을 보증하지는 않음
노란 경계·흰 점선을
색상과 윤곽으로 검출
점선과 경계 위치로
목표 경로·조향 오차 계산
손 관절 21개의 좌표 추출
저장 예시와 비교해
GO·STOP 제스처 분류
STOP · 차량 정차 요청
구분할 손짓을 2종으로 제한
손짓과 대기 시간에 따라
차량 동작 결정
차량 GO는 빨강
차량 STOP은 초록 표시