1. 프롬프트 엔지니어링 개요

• 정의: 원하는 답변을 얻기 위해 LLM(대규모 언어 모델)에게 질문(프롬프트)을 설계하는 기술

• 중요성: 모델 특성, 설정, 단어 선택, 질문 구조 등을 고려해야 더 나은 답변 획득 가능

• 핵심: 반복적으로 질문을 다듬고, 다양한 설정을 시도하며, 결과를 기록하고 개선

2. LLM 출력 구성 (결과 조절 방법)

LLM(대규모 언어 모델)이 답변을 만들어낼 때 '다음에 어떤 단어를 쓸지' 고르는 과정에 영향을 주는 설정값들

1. 온도(Temperature)

• 온도 0.1 (낮음)
  • “안전빵으로 고를게!”
  • 모델이 가장 ‘무난하고 정확해 보이는’ 단어를 고르려 해요.
  • 예측 가능하고 딱딱한(창의성↓) 결과가 나오기 쉬워서, 계산 문제나 사실 확인에 좋아요.
• 온도 0.9 (높음)
  • “좀 재밌게 가볼까?”
  • 모델이 여러 가지 중에서 새로운 단어를 시도해볼 확률이 높아져요.
  • 아이디어 떠올리기, 이야기 지어내기 등에 좋지만, 가끔 엉뚱한 답변이 나올 수도 있어요.

쉽게 말해

• 낮은 온도: 정답에 가깝거나 안정적인 답을 얻기 좋음.
• 높은 온도: 재미있고 독창적인 답변을 얻기 좋음.

2. Top-K

• K=1
  • “가장 가능성이 높은 단어만 쓸게!”
  • 거의 결정론적인 답변을 내놓음.
• K=50
  • “상위 50개 후보 중 하나를 골라볼게!”
  • 어떤 단어를 쓸지 랜덤성이 높아져 답변이 좀 더 다양해질 수 있음.

쉽게 말해

• K가 작으면 가장 확률 높은 단어만 골라서 답이 빤해지는 대신 일관성이 높아요.
• K가 크면 다양한 단어 중에서 골라 똑같은 질문이어도 답이 달라질 수 있어요.

3. Top-P