최근 대규모 언어 모델 (LLM) 및 에이전트 기반 AI (Agentic AI) 시스템의 발전은 경시 대회 문제 해결부터 연구 수준의 추측 (Conjectures) 해결에 이르기까지 수학적 발견 분야에서 상당한 진전을 가능하게 했습니다. 그러나 계산 수학 (Computational mathematics) 분야의 미해결 문제들은 상대적으로 적은 관심을 받아왔습니다. 이 분야의 연구는 증명뿐만 아니라 수치적 실험 (Numerical experimentation), 적대적 구성 (Adversarial constructions), 그리고 알고리즘 설계 (Algorithm design)를 필요로 하는 경우가 많기 때문입니다. 본 논문에서는 계산 수학의 미해결 문제를 위해 설계된 에이전트 기반 연구 시스템인 Iteris를 소개합니다. 우리는 최근 Simons Workshop 컬렉션(arXiv:2602.05394)에서 가져온 두 가지 미해결 문제에 Iteris를 적용했습니다. 이러한 사례 연구에서 Iteris는 수치적 증거, 구성, 그리고 증명 초안을 생성하였으며, 전문가의 검토와 수정을 거쳐 검증된 결과로 이어졌습니다. 첫 번째 결과는 멱법칙 스펙트럼 (Power-law spectra) 상에서 켤레 기울기법 (Conjugate gradient)과 무작위 좌표 하강법 (Randomized coordinate descent) 사이의 점근적 비교에 대한 상전이 도표 (Phase diagram)입니다. 두 번째 결과는 열 피보팅을 이용한 QR 분해 (QR factorization with column pivoting)가 낮은 코히어런스 (Low coherence) 환경에서도 조건이 좋은 부분 행렬 (Well-conditioned submatrices)을 선택하는 데 실패할 수 있음을 보여주는 반례 (Counterexample)입니다. 이러한 사례 연구는 인간의 검증이 여전히 필수적이지만, 에이전트 기반 AI 시스템이 계산 수학의 미해결 문제를 위한 연구 워크플로 (Research workflows)에 의미 있게 참여할 수 있음을 시사합니다.