Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
PostHog가 ANTLR 기반 C++ SQL 파서를 Rust로 재작성하여 속도를 획기적으로 개선했습니다. 예측형 재귀 하강 파서와 Pratt 표현식 코어를 중심으로 구현했으며, 이 과정에서 LLM을 활용한 퍼징 및 동등성 검증 방식을 도입해 고성능 파서 개발 기간 단축 가능성을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기PostHog는 사용자가 SQL로 데이터에 직접 접근할 수 있도록 입력 SQL을 원시 ClickHouse SQL로 변환함
데이터베이스의 물리적 배치와 독립된
논리적 데이터 뷰를 제공함
데이터베이스 계층을 변경해도 기존 쿼리가 깨지지 않도록 보호함
변환 과정에 성능 최적화와 접근 제어를 추가함
제품 분석, 세션 재생, 오류 추적 등 대부분의 PostHog 도구도 SQL로 작성한 쿼리를 같은 변환 과정에 통과시킴
SQL을 변환하려면 먼저
추상 구문 트리(AST) 로 바꿔야 하며, 이 트리가 다시 ClickHouse SQL로 변환됨
파서는 신뢰할 수 없는 쿼리 입력을 처음 처리하는 구성 요소임
이후의 접근 제어와 최적화도 모두 파서가 만든 트리에 의존함
parseExpression()같은 직접 작성 함수 대신 추가적인 추상화와 간접 호출 계층을 거침
AI를 활용하면 직접 구현한 파서를 작성하고 유지하기가 쉬워지지만, Claude에 오류 없는 Rust 파서를 요청하는 것만으로는 충분하지 않았음
Claude는 많은 실수를 만들었음
재작성 가능성 자체를 반복해서 의심함
각 코딩 라운드가 끝날 때마다 작업을 마치려는 경향을 보임
여러 장기 실행 Claude Code 세션에서 두 접근법을 병렬로 시험함
성능 중심 접근법은 재귀 하강 파서와 Pratt 표현식 루프를 사용하고 필요한 곳에만 미리보기와 백트래킹을 추가함
성공 가능성 중심 접근법은 ANTLR의 동작을 최대한 따르되, 범용 그래프 순회 대신 전이를 명시적인 코드로 구현함
두 접근법은 결국 비슷한 수준으로 작동했지만, 이를 확인하기까지 며칠이 걸림
목표는 현실적인 모든 쿼리에서 기존 C++ 파서와 완전히 일치하고, 인위적인 쿼리에서도 가능한 한 가까운 결과를 내는 것이었음
SELECT SELECT FROM FROM WHERE WHERE AND AND
처럼 비정상적으로 보이지만 유효한 SQL도 테스트 대상에 포함함
기존 파서 개발 과정에서 쌓인 회귀 테스트를 먼저 통과시킨 뒤 새로운 불일치를 체계적으로 생성함
Hypothesis를 이용한
속성 기반 테스트(PBT) 에서 검증 속성을 “새 파서가 기준 구현과 일치한다”로 정의함
입력값은 SQL 쿼리임
Hypothesis가 두 파서의 결과가 일치하지 않는 쿼리를 탐색함
흥미로운 SQL을 생성하기 위해 ANTLR 문법 파일에서 SQL 생성기를 코드 생성하는 도구를 Claude와 함께 만듦
.g4
파일 자체를 읽는 별도의 파서도 작성함
PBT가 백그라운드에서 계속 실행되며 실패 사례를 파일에 기록하고, Claude는 다른 작업이 없을 때 해당 사례를 가져오도록 도구를 구성함
실패 사례는 여러 경로에서 수집함
기존 회귀 테스트
PBT로 생성한 SQL
프로덕션 쿼리 로그에서 가져온 익명화 쿼리
백그라운드 에이전트에 “경계 사례를 정말 깊게 생각하라”고 요청해 만든 사례
병렬로 개발한 두 파서는
회귀 테스트 모음을 공유해 한 세션에서 발견한 실패가 다른 세션에도 즉시 반영됨
Hypothesis는 직접 생성한 사례를 최소 재현으로 축소할 수 있지만 외부 SQL에는 적용할 수 없어, 해당 사례에는 ShrinkRay를 사용함
이후 코드 커버리지 유도 테스트 생성도 추가함
아직 실행되지 않은 SQL 구성 요소를 감지해 해당 구조가 더 자주 생성되도록 편향함
프로덕션 쿼리 집합에서 100% 정확도에 도달하는 데 필수는 아니었지만, 매우 미묘한 사례를 찾는 데 도움을 줌
최종 개발 루프는 다음 단계를 자율적으로 반복함
PBT, 실제 쿼리 집합, 회귀 테스트, 경계 사례 탐색으로 새로운 실패를 생성함
실패를 축소해 계속 확장되는
회귀 테스트 목록에 추가함
일반적인 해결책을 우선하면서 문법과 C++ 기준 구현의 처리 방식을 확인함
수정한 뒤 사람이 읽을 수 있는 한 문단 요약을 출력함
전체 회귀 테스트를 실행해 모든 사례가 통과하는지 확인함
같은 과정을 다시 자율 실행함
새 파서가 훨씬 빨랐기 때문에 프로덕션에서 기존 C++ 파서와 함께
섀도 모드로 실행하며 결과 차이를 보고할 수 있었음
노트북 벤치마크에서는 기존 파서보다 약
70배 빠른 성능을 기록함
프로덕션 쿼리에서는 평균
454배 빨라짐
프로덕션에서는 파서 캐시에 적중하지 않는 더 긴 SQL을 주로 처리해 노트북보다 성능 차이가 커짐
최종 결과물은 파서 코드 약 16K줄, 도구 약 5K줄, 테스트 수천 줄로 구성됨
현실적인 쿼리에서는 기존 파서와 동등하며, 차이는 인위적으로 구성한 극소수 쿼리에 한정됨
최종 파서는 다음 구조로 구성됨
대부분을
예측형 재귀 하강 파서로 구현함
표현식 처리에는 Pratt 파서 코어를 사용함
기본 커서는 LL(2)이며, 특정 지점에서만 입력을 소비하지 않는 제한적 미리보기 탐색으로 범위를 넓힘
반드시 필요한 소수의 판단에서만 순서가 있는 선택 기반의 국소적 추측 백트래킹을 적용함
전체 파서는 2026년 5월
Claude Opus 4.7이 Rust로 작성했으며, 코드를 직접 손으로 작성하지 않았음
문법으로 입력을 생성하고 코드 커버리지로 생성을 유도하는 PBT 구성은 파서 퍼징의 최신 방식에 가까우며, 단순한 “바이브 코딩”과 구별됨
특정 파서 지식이 있는 개발자에게도 수개월 걸릴 수 있는 작업을 며칠 만에 수행함
앞으로는 ANTLR 같은 파서 생성기가
기준 구현을 제공하고, LLM이 PBT와 퍼징으로 동등성을 맞추면서 더 빠른 직접 구현 파서를 작성하는 방식이 일반화될 수 있음