강화학습 기반 비정형 지형 대응형 4족 보행 로봇

강화학습 기반 비정형 지형 대응형 4족 보행 로봇

바퀴형 로봇이 접근하기 어려운 재난 현장이나 산악 지형 등 비정형 지형에서도 외란에 흔들리지 않고 안정적으로 주행할 수 있는 지능형 4족 보행 로봇을 개발할 수 없을까?

비정형 지형 주행의 한계: 기존의 모바일 로봇 중 바퀴형 로봇은 계단, 장애물, 경사면과 같은 불규칙한 지면에서는 이동에 명확한 한계가 있어 산악 지형 등에서 활용하기 어렵습니다.

모델 기반 제어의 불확실성: 기존 4족 보행 로봇에 주로 쓰이던 수학적 모델 기반 제어는 복잡한 지면 변화나 예상치 못한 외부 충격, 불규칙한 마찰력 등 실제 환경의 외란을 완벽히 수식으로 정형화하여 대응하기 어렵다는 한계가 존재합니다.

중대형 상용 플랫폼의 높은 진입 장벽: Spot이나 ANYmal 등 우수한 탑재 능력과 성능을 갖춘 중대형 상용 플랫폼은 가격이 매우 높으며, 연구 목적에 맞춰 기구 구조나 저수준 제어를 자유롭게 확장 및 개조하기 어렵습니다.

소형·오픈소스 플랫폼의 성능 부족: 기존 소형 및 오픈소스 4족 보행 로봇(Go2 등)은 가격이 저렴하고 접근성이 좋으나 구조 강성과 내열성이 취약하며, 단차 극복 능력이 약 15~16cm에 불과해 일상적인 계단(단높이 18cm 기준) 극복에 한계가 있고 탑재중량이 낮아 센서나 연산 장치 등의 추가 탑재가 어렵습니다.

기존 방식의 문제점

바퀴형 이동 방식은 계단, 경사면, 불규칙한 지면 등 비정형 지형에서 기동력이 급격히 저하되거나 이동이 불가능합니다.

수학적 수식에 의존하는 모델 기반 제어 방식은 실제 환경에서 발생하는 예측 불가능한 외부 충격이나 지면 마찰력 변화에 강건하게 대응하지 못합니다.

기존의 고성능 중대형 4족 보행 로봇은 도입 비용이 지나치게 높고 폐쇄적인 시스템으로 인해 사용자가 원하는 특정 센서나 알고리즘을 자유롭게 통합(커스텀)하기 어렵습니다.

기존의 저가형 소형 4족 보행 로봇은 낮은 모터 토크와 작은 본체 크기로 인해 탑재 중량이 부족하고, 금속 대비 구조 강성이 떨어져 험지 주행 시 파손 위험 및 장시간 구동에 취약합니다.

핵심 아이디어

바퀴형 로봇의 이동 한계를 극복하기 위해 네 개의 다리를 이용해 지면 변화에 유연하게 대응하는 4족 보행 구조 채택.

수식으로 정형화하기 어려운 외부 충격이나 지면 마찰력 변화에 스스로 적응할 수 있도록 강화학습 기반의 보행 제어 시스템 도입.

무릎 관절(Knee motor) 구동을 위한 평행 링크 구조를 적용하고 모터를 상부에 배치하여 다리 말단부 질량 및 관성 부하 최소화.

RobStride 03 모터를 구동계로 활용하며 로봇 본체와 다리를 금속 기반 구조로 설계해 10kg의 탑재 중량과 우수한 구조 강성 확보.

활용된 핵심 기술 또는 이론

마르코프 결정 과정(MDP) 기반의 PPO(Proximal Policy Optimization) 알고리즘과 Actor-Critic 신경망 구조를 활용한 강화학습 제어 이론.

NVIDIA Isaac Simulator를 이용한 GPU 기반 병렬 학습 및 RecurDyn 동역학 해석, Python/ROS 2 통합을 통한 보행 정책 시스템 구현.

기존 방식과의 차별성

수학적 모델 기반 제어를 사용하는 로봇과 달리, 로봇이 환경 데이터를 직접 경험하고 최적의 전략을 스스로 도출하는 강화학습을 통해 비선형적 지형에서의 강인성을 극대화함.

플라스틱 3D 프린팅 위주의 소형 오픈소스 로봇이 가지는 내구성 한계를 금속 소재 구조 설계로 극복하여, 고하중 조건 및 장시간 구동에서의 기계적 안정성을 보장함.

최대 단차 극복 높이가 약 15cm 수준인 기존 소형 상용 로봇과 차별화하여, 다리 길이를 30cm로 설계함으로써 18cm 규격의 일상적인 계단을 여유 있게 극복할 수 있음.

특정 목적에 국한되고 가격이 높은 중대형 상용 플랫폼(예: Spot)에 비해 경제성을 갖추면서도 10kg의 탑재 능력을 확보하여, 다양한 센서와 임무 장비를 싣고 자유롭게 개조할 수 있는 확장성을 제공함.

문제 해결 과정

목표 사양(질량 24.0kg, 다리 길이 30cm, 최대 토크 60Nm 등)을 우선 설정하고, 단순화 CAD 모델을 이용해 각 링크의 관성 파라미터를 산출하여 1차 기본적인 보행 가능성을 검증했습니다.

프레임 형상, 부품 간섭, 실제 부품의 질량 분포 등을 반영한 상세 CAD 모델을 제작한 뒤, RecurDyn 동역학 해석을 통해 관절별 요구 토크 및 속도 특성을 분석하는 2차 검증을 수행했습니다.

엔트로피 보너스가 추가된 PPO(Proximal Policy Optimization) 알고리즘 기반의 강화학습 환경(NVIDIA Isaac)을 구축하고, 속도 추종, 자세 유지, 관절 토크 패널티 등을 고려한 보상함수를 통해 보행 정책(Policy)을 학습시켰습니다.

해석 및 학습 결과를 바탕으로 최종 하드웨어를 제작 및 조립하였으며, 이후 3D LiDAR와 IMU 등에서 수집한 센서 데이터 처리 과정과 연계하여 모의 비정형 지형에서의 주행 안정성 테스트 및 문제점 보완을 진행했습니다.

최종 사용자

카메라, LiDAR, 연산장치 등을 탑재하여 새로운 자율주행 알고리즘이나 환경 인지 기술을 테스트하고자 하는 로봇 공학 관련 대학 및 연구기관 소속 연구원.

일반 바퀴형 로봇으로는 접근하기 어려운 험지, 붕괴 현장, 산악 지형 등에서 위험한 탐사 임무를 수행해야 하는 재난 구조대원.

계단, 불규칙한 바닥, 단차 등 복잡하고 변화가 많은 장애물이 존재하는 환경에서 시설물 점검 및 안전 자율 순찰 임무를 담당하는 산업 현장 관리자.

고가의 상용 4족 보행 플랫폼 도입에 비용적 부담을 느끼면서도, 연구 개발을 위해 자유로운 기구 개조와 제어 권한(오픈소스 수준)이 필요한 중소 규모의 로봇 응용 기업.

기대효과

강화학습 제어를 통해 평지 중심의 이동을 넘어 계단, 단차, 경사면과 같은 비정형 지형 및 예상치 못한 외란 상황에서도 전도 없이 안정적으로 주행할 수 있는 향상된 기동성을 제공합니다.

고가의 중대형 상용 플랫폼에 비해 경제적인 비용으로 도입이 가능하며, 사용자 목적에 맞추어 하드웨어 개조나 알고리즘 확장이 자유로운 연구용 플랫폼으로 활용할 수 있습니다.

금속 기반의 구조 설계를 통해 기존 소형·플라스틱 기반 플랫폼이 가지는 구조 강성 및 내열성 한계를 극복하고, 장시간 구동과 험지 하중을 견딜 수 있는 내구성을 보장합니다.

10kg의 충분한 탑재 여유를 확보하여 센서, 배터리, 매니퓰레이터 등 다양한 임무 장비를 무리 없이 장착할 수 있으므로 자율주행, 탐사, 순찰 등 다목적 응용 분야로의 확장이 용이합니다.

참여 정보

팀명

mechadrup

수강 교과목

캡스톤디자인 I

지도 교수

한성지

참여 개발자

김건호(메카트로닉스공학과),김기훈(메카트로닉스공학과),신민섭(메카트로닉스공학과)

34134

|

충남대학교 산학연교육연구관 2층 C룸, 캡스톤디자인 운영지원실

문의

|

042-605-3609,3610

연관 사이트

© 2025 Chungnam National University RISE Program | All rights reserved.

34134 | 충남대학교 산학연교육연구관 2층, 캡스톤디자인 운영지원실

문의 | 042-605-3609,3610

연관 사이트

© 2025 Chungnam National University RISE Program | All rights reserved.

34134

|

충남대학교 산학연교육연구관 2층 C룸, 캡스톤디자인 운영지원실

문의

|

042-605-3609,3610

연관 사이트

© 2025 Chungnam National University RISE Program | All rights reserved.