SeungjoonLee 63 8
게시물 메뉴

안녕하세요 크루님들^^

지난번 초파리에 이어 강화학습 시뮬레이터 하나 더 만들어 봤습니다.ㅎㅎ

이번엔 4구 당구입니다.

 

1. 만든것

- MuJoCo로 중대 당구대(2.44m × 1.22m)를 만들고 공 4개를 올렸습니다.(흰 수구, 노란 상대 수구, 빨간 공 2개)

- 규칙은 수구로 빨간 공 2개를 다 맞히면 득점, 하나만 맞히면 미스, 상대 수구를 맞히거나 헛치면 파울(1점 감점)입니다.

- 5점 먼저 내면 승리, 10이닝 안에 못 채우면 패배로 잡았습니다.

- 여기에 SAC로 강화학습을 시켰습니다. AI가 정하는건 조준각, 파워, 당점(좌우/상하) 네 가지입니다.

 

2. 현실은 시궁창

- 버전을 v1부터 v5까지 바꿔가며 돌렸는데 1샷 득점률이 14~28%에서 안 올라가더군요.

- 경기를 시켜보니 40판 0승입니다..ㅠㅠ 447샷 중 득점은 47샷이고, 상대 수구를 맞히는 파울이 206샷(46%)이었습니다.

- 참고로 무작위로 치는 샷이 레벨별로 23.0% / 10.3% / 7.8% 입니다.

- v5에선 득점한 샷 1,000개를 먼저 보여주고 따라하게도 해봤는데(BC 사전학습) 득점률이 12.5%로 무작위 수준이었습니다. 한 배치에 득점하는 샷이 여러 갈래인데 그 중간의 "어느 샷도 아닌 샷"을 배워버렸습니다.ㅋㅋ

 

3. 왜 안되나 봤더니

- 조준 두께를 촘촘하게 훑어봤습니다.(배치 24개, 393단계)

- 안정적으로 득점하는 폭이 타점 기준 약 4.6~11mm 였습니다. 0.5m 떨어진 공이면 각도로 약 0.75도이고, SAC가 쓰던 조준 범위(±40도)의 약 1%입니다.

- 풀 수 없는 문제는 아닌데, 신경망이 한 번에 답을 내는 구조로는 이 1%를 매번 맞히기 어려웠습니다.

 

4. 그래서 학습을 뺐습니다

- 시뮬레이터는 같은 샷을 치면 같은 결과가 나오고 되돌릴 수도 있으니, 미리 쳐보고 고르게 했습니다.

- 빨간 공 2개 × 파워 2단계 × 두께 40단계, 후보 샷 160개를 미리 쳐봅니다.

- 그 중 득점하는 두께가 가장 넓게 이어진 구간의 가운데를 칩니다.(우연히 맞는 샷을 거르려고요)

- 상대 수구가 길을 다 막고 있으면 360도를 2도 간격으로 훑어서 쿠션 먼저 맞히는 샷을 찾습니다.

- 결과는 50판 50승, 친 250샷이 전부 득점이었습니다.

 

5. 한계

- 느립니다. 한 샷 고르는데 CPU 10코어로 10~20초 걸립니다.(영상에선 이 시간을 잘라냈습니다.ㅎ)

- 이건 강화학습 모델이 아니고 시뮬레이터를 그대로 쓰는 방식이라, 오차가 있는 실제 당구대에선 같은 성능을 기대할 수 없습니다.

- 당점(회전)도 안 쓰고 다음 샷 포지션도 안 봅니다. 득점 여부만 봅니다.

 

  1. 추가로 할것

  - 이제 스핀을 적용시키고, 오차, 심투리얼을 구현해보고자 합니다.

 - 이후 플레이어가 2인인 경우, 그리고 쓰리쿠션 까지 적용해 보려고 합니다.ㅎㅎㅎ

 

강화학습 시키려고 만든 건데 강화학습을 뺀 쪽이 이겨버렸네융..ㅋㅋㅋ

영상은 위가 SAC, 아래가 미리 쳐보는 쪽입니다. 같은 초구 배치에서 한 경기씩 칩니다.

 

코드랑 SAC 체크포인트는 허깅페이스에 올려뒀습니다.

https://huggingface.co/casareborgia/mujoco-kbf-4ball-rl

 

읽어주셔서 감사합니다!^^