LLM의 환각(Hallucination) 현상을 제어하는 프롬프트 엔지니어링 전략

LLM 환각 문제의 심각성

AI가 제공하는 정보가 사실과 다를 때 발생하는 문제는 치명적일 수 있습니다. 특히 전문 지식을 다루는 시스템에서는 더욱 그렇습니다.

RIVA의 해결 전략

• 단계별 추론 (Chain-of-Thought): 모델이 결론을 도출하기 전 추론 과정을 명시적으로 작성하도록 유도합니다.
• 근거 기반 답변 (Grounding): 반드시 제공된 문맥(Context) 내에서만 답변하도록 엄격한 시스템 프롬프트를 적용합니다.
• Cross-Check 자동화: 생성된 답변을 다른 경량 모델을 통해 교차 검증하는 파이프라인을 구축했습니다.