SeungjoonLee 3 0
게시물 메뉴

안녕하세요 크루님들^^

지난번 글에 이어서 4구 당구 2편입니다.ㅎㅎ 
1편: https://vibecrew.kr/build/12388

1편 결론이 "SAC는 신경망이 한 번에 답을 내는 구조라 막힌다, 학습을 뺀 쪽이 이겼다" 였는데요. 
이번에 다시 재보니 이 결론이 틀렸습니다..ㅠㅠ 정정 겸 결과 공유드립니다.

1. 바꾼 것

  • 물리 엔진을 pooltool로 옮겼습니다. 
  • MuJoCo는 샷 하나 계산에 약 0.55초가 걸려서, 1편의 SAC는 수만 번밖에 못 쳐보고 끝났습니다.
  • pooltool은 샷 하나에 약 2ms입니다. 그래서 SAC를 100만 번 치게 했습니다.(두 개 동시에 돌려서 약 1시간)
  • 관측, 행동, 신경망 구조는 1편과 똑같고 엔진과 학습량만 바꿨습니다.

2. 새로 넣은 방식: 득점 지도 신경망

  • 샷을 하나 바로 내는 대신, 후보 샷 1,256개(빨간 공 2개 × 파워 4단계 × 두께 157칸)마다 득점 확률을 매기는 신경망입니다.
  • 각도 대신 "어느 빨간 공을 얼마나 두껍게 맞힐지"로 조준합니다. 1편 댓글에서 VibeNow님이 말씀하신 "조준각 대신 목표 지점" 방향과 비슷합니다.
  • 득점 확률이 높은 칸이 이어진 구간의 가운데를 칩니다. 플레이할 때 시뮬레이터는 안 씁니다.
  • 400만 샷으로 학습했습니다. 무작위 샷 100만 → 신경망이 좋다고 본 샷을 실제로 쳐서 더하기 → 실제 경기에서 나온 배치로 반복, 이렇게 세 단계입니다.

3. 결과 (무작위 시작 811판, 5점 선취, 최대 10이닝)

  • 1편 SAC(MuJoCo, 수만 스텝): 9승, 경기 중 득점률 13.3%
  • SAC(pooltool, 100만 스텝): 722승 / 755승(시드 두 개), 득점률 55.8% / 59.5%
  • 득점 지도 신경망(400만 샷): 811승 / 810승, 득점률 84.7% / 85.0%
  • 시뮬레이션 탐색(1편의 미리 쳐보는 쪽): 811승, 친 샷 전부 득점
  • 탐색은 한 샷 고르는 데 10~20초(MuJoCo, 10코어) 걸리던 게 pooltool에서는 1코어로 평균 0.55초가 됐습니다.ㅎㅎ
  • 10이닝이면 셋 다 거의 이기니까 이닝 제한을 줄여봤습니다. 1이닝 안에 끝내는 비율이 탐색 100%, 신경망 45.0% / 43.5%, SAC 7.9% / 9.6%입니다. 샷 하나하나의 정확도 차이는 여기서 보입니다.

4. 그래서 1편 결론은

  • "SAC는 구조 때문에 막힌다"가 아니라 주된 원인은 학습량이었습니다.
  • MuJoCo에서 학습한 1편 SAC를 그대로 pooltool에서 치게 하면 811판 중 9승이라, 엔진만 바꿔서 좋아진 건 아닙니다.
  • 다만 엔진 효과와 학습량 효과를 완전히 갈라보진 못했습니다. 1편 학습 명령이 기록에 안 남아 있어서요..ㅠㅠ
  • 같은 100만 샷끼리 비교하면 SAC가 득점 지도 신경망과 비슷하거나 조금 높습니다. 신경망이 앞서는 건 샷을 더 넣었을 때입니다.

5. 한계

  • 샷 오차가 없는 조건입니다. 고른 샷이 그대로 나갑니다.(탐색만 따로 오차를 넣어보니 득점률이 48~76%로 내려갑니다)
  • SAC는 100만 스텝보다 더 학습해 보지 않았고, 시드도 두 개뿐입니다.
  • 신경망이 자기 샷을 실제보다 3~4%p 높게 봅니다. 두 공이 10mm 안에 붙은 배치에선 득점률이 60~68%로 약합니다.
  • 1편에서 말씀드린 스핀, 오차, 2인 경기, 쓰리쿠션은 아직입니다.ㅎㅎ

 

영상은 위에서부터 SAC, 득점 지도 신경망, 탐색입니다. 같은 초구에서 첫 이닝을 칩니다. SAC는 3점 내고 미스, 나머지 둘은 5샷 연속 득점으로 끝냅니다.

코드, 체크포인트, 영상은 허깅페이스에 올려뒀습니다. 
https://huggingface.co/casareborgia/mujoco-kbf-4ball-rl

1편 쓰고 나흘 만에 결론 고치게 됐네융..ㅋㅋㅋ 댓글로 방향 잡아주신 크루님들 감사합니다!^^