비전 기반 협동 로봇 자세 추적 및 다관절 결함 진단 방법 | Vision-based Pose Estimation and Multi-Joint Fault Detection for Collaborative Robot

학위논문(석사)--AI융합네트워크학과,2023. 8

4차 산업혁명의 등장으로 스마트팩토리와 협동 로봇의 중요성이 대두되고 있다. 스마트팩토리의 생산효율 향상을 위해 협동 로봇의 데이터 기반 결함 진단 방법이 도입되고 있다. 일반적인 데이터 기반 결함 진단 방법은 협동 로봇을 구성하는 개별 부품의 결함을 타겟으로 하고 있으나, 협동 로봇이 수행하는 프로그램, 동작 환경 및 결함 종류 등 다양한 조건을 고려한 진단 모델이 요구된다. 특히, 협동 로봇은 4축에서 7축까지 다중 관절을 결합하여 다양한 동작을 복합적으로 수행하기 때문에, 하나의 부품 결함을 기반으로 개발된 방법을 실제 산업 현장에 적용하기는 어렵다. 또한, 협동 로봇 내부에서 생성되는 고유의 데이터만을 이용한 결함 진단 방법은 로봇의 종류, 모델, 실행 프로그램, 적용 현장 등의 조건이 달라지면 진단 모델도 새로 구축해야 하는 단점이 있다. <br>따라서 본 논문에서는 로봇 외부에서 비전 센서를 기반으로 협동 로봇의 자세를 추적 관찰하고, 이를 통해 다관절 결함 진단 방법을 제안한다. 제안하는 방법은 동일 동작에 대한 여러 관절에 대한 결함 진단이 가능하며, 로봇의 관절 결함 정도를 다르게 주입한 동작에 대해 검증한 결과, 정확도 96.47%, 평균 정밀도 96.56%, 평균 재현율 96.47%의 성능을 보이며 학습에 사용하지 않은 결함 크기에 대해서도 다관절 결함 진단을 가능하게 한다.

1. 서론 1 <br>2. 관련 연구 7 <br> 2.1. 비전 기반 위치 추적 기법 7 <br> 2.1.1. 광학 흐름(Optical Flow) 7 <br> 2.1.2. PnP(Perspective-n-Points) 8 <br> 2.1.3. 기준 마커(Fiducial Marker) 9 <br> 2.2. 데이터 기반 산업용 로봇 결함 진단 연구 10 <br> 2.2.1. 통계 기반 결함 진단 10 <br> 2.2.2. 기계학습 기반 결함 진단 11 <br>3. 마커 기반 협동 로봇 TCP 위치 추적 방법 13 <br> 3.1. TCP 위치 추적 프로세스 13 <br> 3.2. 좌표변환 기반 TCP 위치 도출 15 <br>4. 딥러닝 기반 협동 로봇 다관절 결함 진단 20 <br> 4.1. 협동 로봇 관절 결함 진단을 위한 위치 데이터 분석 및 전처리 20 <br> 4.2. 다관절 결함 진단을 위한 CAE-CNN 결합 모델 23 <br>5. 실험 및 평가 26 <br> 5.1. 테스트 환경 구축 및 실험 26 <br> 5.2. 로봇 자세 추정을 위한 ArUco 마커 상관 분석 및 검증 28 <br> 5.3. 협동 로봇 자세 추정 및 다관절 결함 진단 실험 33 <br> 5.3.1. 모델 학습을 위한 데이터셋 구축 33 <br> 5.3.2. CAE-CNN 결합 모델 학습 및 결과 35 <br>6. 결론 40 <br> 41

Master