안녕하세요. 저는 한국에 거주하고 있으며 영어가 모국어가 아닙니다. I live in South Korea, and English is not my first language. 이 게시물은 GPT의 도움을 받아 번역 및 편집되었습니다. 따라서 문구가 AI가 생성한 것처럼 들릴 수 있지만, SOP 구조, 아이디어 및 그 뒤에 담긴 실무 경험은 저의 것입니다. 아래는 제가 현재 LLM을 활용한 복잡한 분석에 사용하고 있는 간결한 SOP입니다. 새로운 대화창에 그대로 복사하여 붙여넣으셔도 됩니다.

구조적 분석 및 검증 SOP (Structural Analysis and Verification SOP)
결론을 내리기 전에 다음 절차를 적용하십시오.

1. 질문 고정 (Lock the Question)
   정의: 정확한 질문, 내려야 할 결정, 관련 시간 지평(time horizon), 그리고 무엇이 유용한 답변으로 간주될지를 정의하십시오. 원래의 질문을 더 쉬운 질문으로 조용히 대체하지 마십시오.

2. 증거 상태 분리 (Separate Evidence Status)
   중요한 진술을 다음과 같이 분류하십시오:

• 확인됨 (Confirmed): 신뢰할 수 있는 증거에 의해 직접적으로 뒷받침됨
• 추정됨 (Estimated): 타당해 보이지만 직접적으로 검증되지 않음
• 리스크 (Risk): 결론을 실질적으로 바꿀 수 있는 변수
• 미검증 (Unverified): 현재 알 수 없거나 뒷받침되지 않음
  최종 결론을 뒷받침한다는 이유만으로 추정치를 확인된 사실로 격상시키지 마십시오.

3. 상충하는 체제 유지 (Preserve Competing Regimes)
   관찰된 사실과 양립할 수 있는 최소 두 개의 상충하는 체제(regimes) 또는 설명을 유지하십시오. 너무 일찍 이들을 병합하지 마십시오. 각 체제에 대해 다음을 명시하십시오: 주요 행위자, 인센티브, 제약 조건, 인과 경로(causal path), 비용, 시차(time lag), 그리고 예상되는 관찰 가능한 결과.

4. 체제에 따라 관계가 변할 수 있도록 허용 (Allow Relationships to Change by Regime)
   동일한 변수가 항상 동일한 효과를 가진다고 가정하지 마십시오. 각 중요한 관계에 대해 다음 사항이 변화하는지 확인하십시오: 방향, 인과적 부호(causal sign), 속도, 규모, 전달 경로, 또는 행동적 함의. 동일한 관찰 결과라도 조건에 따라 상반된 결론을 뒷받침할 수 있습니다.

6. 누락된 구조를 능동적으로 탐색하십시오. 사용자가 명시적으로 제공하지 않은 변수들을 적극적으로 찾아내야 합니다. 여기에는 숨겨진 비용 (hidden costs), 병목 현상 (bottlenecks), 전환 비용 (switching costs), 지연된 효과 (delayed effects), 책임자 (responsibility holders), 피드백 루프 (feedback loops), 인센티브 (incentives), 용량 제약 (capacity constraints), 그리고 상반된 인과 경로 (opposing causal paths)가 포함됩니다. 가용한 증거를 확인하기 전에는 누락된 정보를 일반적인 가정으로 채우지 마십시오.

7. 주요 갈등 지점을 식별하십시오. 경쟁하는 설명들이 갈라지기 시작하는 가장 이른 지점을 찾으십시오. 다음 질문을 던지십시오: 어떤 가정이 한쪽 설명에서는 사실로 취급되는가? 어떤 변수의 부호나 방향이 바뀌는가? 어떤 제약 조건이 구속적(binding)인가? 한 체제(regime)에는 존재하지만 다른 체제에는 존재하지 않는 인과 경로(causal path)는 무엇인가? 한쪽 설명이 아직 검증되지 않은 증거를 요구하는 지점은 어디인가? 최종 답변만을 비교하기보다 첫 번째 의미 있는 분기점에 집중하십시오.

8. 지배적인 체제(Dominant Regime)를 선택하십시오. 어떤 체제가 현재 더 가능성이 높아 보이는지, 그리고 그 이유는 무엇인지 조건부로 기술하십시오. 이를 영구적으로 확인된 것으로 제시하지 마십시오. 뒷받침하는 증거, 해결되지 않은 불확실성, 신뢰 수준(confidence level), 그리고 판단이 바뀌게 될 조건을 포함하십시오.

9. 전환 게이트(Transition Gate)를 정의하십시오. 현재의 지배적인 체제에서 다른 체제로 전환하는 것을 정당화할 수 있는 최소한의 관찰 가능한 상태를 기술하십시오. “조건이 변한다면”과 같은 모호한 진술은 피하십시오. 가능하다면 무엇이, 얼마나, 그리고 어느 기간에 걸쳐 변해야 하는지를 구체적으로 명시하십시오.

10. 가장 이른 식별 신호(Earliest Discriminating Signal)를 제시하십시오. 현실에서 경쟁하는 체제들을 구별할 수 있는 첫 번째 관찰 가능한 신호를 식별하십시오. 단순히 긴 지표 목록만을 나열하지 마십시오. 분석과 현실이 분리되기 시작함을 드러낼 가능성이 가장 높은 신호를 선택하십시오.

11. 과잉 해석을 방지하십시오. 단 하나의 사건, 하루 동안의 시장 움직임, 한 번의 성공적인 결과, 하나의 뉴스 기사, 또는 하나의 모델 응답을 장기적인 구조적 변화나 체제 변화(regime change)의 충분한 증거로 취급하지 마십시오. 단기적인 트리거(triggers)와 장기적인 구조적 원인을 분리하십시오.

결론으로부터 독립적으로 증거를 검증하십시오. 올바른 결론이 잘못된 증거를 정당화할 수는 없습니다. 다음 사항들을 별도로 확인하십시오: 출처가 존재하는지, 출처가 주장하는 바와 일치하는지, 인용된 구절이 현재의 결론을 뒷받침하는지, 숫자가 올바른 기간과 단위를 나타내는지, 그리고 해당 증거가 전체 시스템에 적용되는지 아니면 특정 하위 그룹(subgroup)에만 적용되는지 확인하십시오.

12. 결정 구조로 마무리하십시오. 답변을 다음과 같이 끝맺으십시오:

• 현재 지배적인 체제 (Current dominant regime)
• 주요 경쟁 체제 (Main competing regime)
• 핵심 미해결 변수 (Key unresolved variable)
• 전환 게이트 (Transition gate)
• 가장 빠른 판별 신호 (Earliest discriminating signal)
• 권장 조치 (Recommended action)
• 권장 사항을 반증할 수 있는 조건 (What would falsify the recommendation)

증거가 불충분한 경우에는 조건부 언어(conditional language)를 사용하십시오.

압축 트리거 (Compact Trigger)
대화 내에서 전체 SOP가 이미 확립된 후에는, 다음과 같은 더 짧은 지침을 사용할 수 있습니다:

체제 분석을 적용하십시오: 확인된 정보, 추정된 정보, 리스크, 미확인 정보를 분리하십시오; 최소 두 개의 경쟁 체제를 유지하십시오; 인과 관계의 방향, 부호(sign), 전달 경로, 비용, 시차(lag)를 비교하십시오; 가장 빠른 충돌 지점을 식별하십시오; 조건부로 지배적인 체제를 선택하십시오; 전환 게이트, 가장 빠른 판별 신호, 권장 조치 및 반증 조건을 제공하십시오.

충분한 문맥(context)이 축적된 후에는 짧은 트리거가 더 효과적일 수 있습니다. 콜드 스타트(cold-start) 대화에서는 먼저 전체 SOP를 사용하십시오.

테스트 제안
다음 세 가지 조건에서 동일한 어려운 질문을 시도해 보십시오:

1. SOP 없음
2. "주의 깊게 분석하라"와 같은 일반적인 지침
3. 위의 SOP

그 다음 모델이 다음 사항들을 수행하는지 비교하십시오: 경쟁 설명을 보존하는지, 추정치와 증거를 분리하는지, 숨겨진 변수를 찾아내는지, 부호 변화를 감지하는지, 근거 없는 확신을 지연시키는지, 그리고 가장 빠른 판별 신호를 식별하는지 확인하십시오.

성공한 결과와 실패한 결과 모두 공유해 주시기 바랍니다. 저는 특히 SOP가 다음과 같은 상황에서 다르게 작동하는지에 관심이 있습니다: 새로운 대화, 상당한 대화 문맥이 쌓인 후, 서로 다른 모델 간, 그리고 압축 트리거만 사용할 때.

submitted by /u/Local-Reading-1624 [link] [comments]