alejandroll10/idea-evaluation-pipeline

연구 아이디어가 상위 3대 금융 저널(JF, JFE, RFS) 또는 상위 5대 경제학 저널 수준에 도달할 때까지 반복적으로 평가(evaluating), 피벗(pivoting), 그리고 방어(defending)하기 위한 구조화된 파이프라인입니다.

금융 및 경제학 박사 과정 학생들을 위해 설계되었습니다. 모든 AI 코딩 어시스턴트(Claude Code, Cursor, Codex, Windsurf 등)와 함께 사용할 수 있으며, 프롬프트를 복사하여 붙여넣는 방식으로 수동 작업도 가능합니다.

아이디어는 최대 8단계를 거칩니다. 파이프라인은 아이디어 점수가 7/10점 이상이 될 때까지 루프(loop)를 돕니다:

1. 아이디어 평가 (EVALUATE IDEA) → 2. 평가 검토 (REVIEW EVALUATION)
│
비판이 불공정하다면? → 1단계 재실행
...

mkdir my_idea

idea_template.txt를 폴더에 복사하고 내용을 채우세요:

cp idea_template.txt my_idea/idea.txt

템플릿에는 다음 사항이 필요합니다:

• 연구 질문(Research question) 및 예상 부호(expected sign)를 포함한 가설
• 식별 전략 (Identification strategy) (충격(shock), 도구 변수(instrument), 또는 자연 실험(natural experiment))
• 변수명과 표본 기간(sample periods)이 포함된 구체적인 데이터 소스
• 전체 인용 정보, URL, 그리고 본인의 아이디어가 차별화되는 점을 포함한 가장 유사한 논문 3편
• 가능한 경우 제안된 회귀 방정식 (regression equation)

가장 유사한 논문 3편은 매우 중요합니다. 단순히 광범위하게 관련된 연구가 아니라, 심사위원(referee)이 당신의 논리에 반박하기 위해 즉각적으로 인용할 만한 논문, 즉 당신의 독창성(novelty) 주장을 가장 직접적으로 위협하는 논문을 선택하세요. 파이프라인이 이를 검증할 수 있도록 URL을 포함해야 합니다.

AI 코딩 도구를 사용하는 경우: 사용 중인 도구에서 이 프로젝트를 열고 당신의 아이디어에 대해 파이프라인을 실행하도록 요청하세요. 에이전트(agent)가 AGENTS.md (또는 CLAUDE.md)를 읽고 단계를 자동으로 수행할 것입니다.

수동으로 하는 경우: 각 프롬프트 파일을 관련 입력값과 함께 선호하는 LLM(Claude, GPT 등)에 복사하여 붙여넣으세요. 각 출력물을 올바른 파일명으로 저장하세요. 아래의 단계별 가이드를 참조하십시오.

프롬프트 (Prompt): prompt_ideas.txt

입력 (Input): 당신의 아이디어 + 가장 유사한 논문 3편
출력 (Output): my_idea/eval_my_idea_idea1.txt로 저장

모델 (Model): 사용 가능한 가장 강력한 모델(Claude Opus, GPT-4 등)을 사용하세요.

프롬프트 (Prompt): review_eval_prompt.txt

입력 (Input): 당신의 아이디어 + 1단계의 평가 결과
출력 (Output): my_idea/review_my_idea_idea1.txt로 저장

결정 (Decision): 만약 리뷰 결과 비판이 부당하다고 판단되면, 수정한 내용을 바탕으로 1단계를 다시 실행합니다.

프롬프트 (Prompt): pivot_prompt.txt

입력 (Input): 당신의 아이디어 + 평가 (evaluation) + 리뷰 (전체 이력)
출력 (Output): my_idea/pivot_idea1.txt로 저장 (반복 시 pivot_idea1_v2.txt, _v3.txt 등)

프롬프트 (Prompt): prompt_ideas.txt (1단계와 동일)
입력 (Input): 피벗(pivot)된 아이디어 + 원래 가장 유사한 논문 3편
출력 (Output): my_idea/eval_pivot_idea1.txt로 저장 (반복 시 eval_pivot_idea1_v2.txt 등)
결정 (Decision): 만약 점수가 하락하거나 정체된다면, 3단계로 돌아갑니다.

프롬프트 (Prompt): lit_review_prompt.txt
입력 (Input): 피벗(pivot)된 아이디어 + 인용된 논문 3편
출력 (Output): my_idea/lit_review_pivot_idea1.txt로 저장
모델 (Model): 웹 검색 기능이 있는 모델 사용 (WebSearch 기능이 있는 Claude Sonnet, Perplexity 등)
중요 (Important): 환각(hallucination)된 인용을 방지하기 위해, 프롬프트는 인용된 모든 논문에 대한 URL을 요구합니다.

프롬프트 (Prompt): verify_lit_review_prompt.txt
입력 (Input): 5단계의 문헌 검토 (lit review) 결과
출력 (Output): 문헌 검토 파일을 편집(URL 추가, 가짜 논문 제거) + 요약본을 my_idea/review_lit_review_idea1.txt로 저장
모델 (Model): 반드시 웹 검색 권한이 있어야 함 (가장 강력한 모델 + 웹 검색 권장)
중요 (Important): 이 단계는 환각(hallucination)된 인용을 잡아냅니다. 모든 논문은 Google Scholar 또는 SSRN을 통해 검증되어야 합니다. 찾을 수 없는 논문은 모두 제거하십시오.

프롬프트 (Prompt): final_verdict_prompt.txt
입력 (Input): 전체 이력 (이전의 모든 출력물)
출력 (Output): my_idea/final_verdict_idea1.txt로 저장

프롬프트 (Prompt): review_final_verdict_prompt.txt
입력 (Input): 전체 이력 + 최종 판결 (final verdict)
출력 (Output): my_idea/review_final_verdict_idea1.txt로 저장
결정 (Decision): 만약 점수가 7점 미만이면, 전체 이력을 가지고 3단계로 돌아갑니다.

점수 (Score)	의미 (Meaning)	조치 (Action)
1-3	잠재력 낮음, 독창성 부족	대대적인 피벗(pivot) 또는 새로운 아이디어 필요
...

목표 (Target): 진행을 위해 7/10점을 목표로 합니다. 여러 번의 피벗(pivot) 후에도 점수가 6-6.5점에 머문다면, 해당 아이디어가 현재 주제에서 한계에 도달했음을 의미할 수 있습니다. 다음을 고려하십시오:

• 원래 제안했던 아이디어와는 다른 새로운 아이디어 시도
• Top-3 저널 대신 현실적인 목표 저널 (JFQA, JFI, JHE 등) 수용
• 메커니즘 (mechanism) 또는 설정 (setting)에 대한 보다 근본적인 재고

IdeaEvaluation/
├── README.md ← 이 파일
├── AGENTS.md ← AI 에이전트를 위한 지침
...

가장 유사한 3편의 논문이 중요합니다. 너무 동떨어진 논문을 선택하면 평가가 지나치게 관대해질 것입니다. 심사위원(referee)이 당신의 논문에 반박하기 위해 즉각적으로 인용할 법한 논문을 선택하십시오.

6단계(검증)를 건너뛰지 마십시오. AI 모델은 인용 문헌을 환각 (hallucinate) 합니다. 문헌 검토 (lit review)에 포함된 모든 논문은 검증 가능한 URL을 반드시 가지고 있어야 합니다.

문헌 검토의 위협 요인 (threats)을 직접 읽어보십시오. 파이프라인이 위협 요인을 식별하지만, 해당 위협이 정말 치명적인지 아니면 해결 가능한지는 오직 당신만이 판단할 수 있습니다.

피벗 (pivot)은 실패가 아닙니다. 대부분의 아이디어는 1~2번의 피벗이 필요합니다. 이 파이프라인은 반복 (iteration)을 위해 설계되었습니다.

3회 이상의 피벗 후에도 6.5점에 머물러 있다면, 해당 아이디어는 한계에 도달했을 수 있습니다. 이는 유용한 정보입니다. 1년 동안 데이터를 작업한 후보다는 지금 이를 배우는 것이 더 낫습니다.

• 강력한 LLM (Claude Opus, GPT-4 또는 그에 상응하는 모델)에 대한 접근 권한
• 5단계와 6단계를 위한 웹 검색 (Web search) 접근 권한 (WebSearch 기능이 있는 Claude, Perplexity 또는 유사 도구)
• 코딩 불필요 — 이 파이프라인은 프롬프트 기반 (prompt-based)입니다.