개발자 콘솔에서 프롬프트 개선하기

• 카테고리: 제품 발표
• 제품: Claude 개발자 플랫폼
• 게시일: 2024년 10월 14일
• 읽기 시간: 약 5분

오늘, 우리는 Anthropic 콘솔에서 직접 프롬프트를 개선하고 예시를 관리할 수 있는 기능을 소개합니다. 이러한 기능은 프롬프트 엔지니어링 모범 사례를 활용하고 더 신뢰할 수 있는 AI 애플리케이션을 구축하는 것을 더 쉽게 만듭니다.

더 나은 완성을 위한 더 나은 프롬프트

프롬프트 품질은 주어진 작업에 대한 모델 응답의 성공 여부에 중요한 역할을 합니다. 그러나 프롬프트 모범 사례를 구현하는 데는 시간이 걸리며 모델 제공업체마다 다른 경우가 많습니다.

프롬프트 개선기를 사용하면 개발자는 기존 프롬프트를 가져와 Claude를 활용해 고급 프롬프트 엔지니어링 기술을 사용하여 자동으로 다듬을 수 있습니다. 이는 원래 다른 AI 모델용으로 작성된 프롬프트를 조정하거나 직접 작성한 프롬프트를 최적화하는 데 이상적입니다.

프롬프트 개선기는 다음 방법을 통해 기존 프롬프트를 강화합니다.

• 생각의 사슬 추론: 정확성과 신뢰성을 높이기 위해 Claude가 응답하기 전에 체계적으로 문제를 생각할 수 있는 전용 섹션을 추가합니다.
• 예시 표준화: 명확성과 처리 향상을 위해 예시를 일관된 XML 형식으로 변환합니다.
• 예시 보강: 새롭게 구조화된 프롬프트에 맞춰 기존 예시를 생각의 사슬 추론으로 보강합니다.
• 재작성: 구조를 명확히 하고 사소한 문법이나 철자 오류를 수정하기 위해 프롬프트를 다시 작성합니다.
• 사전 채우기 추가: Claude의 행동을 지시하고 출력 형식을 강제하기 위해 어시스턴트 메시지를 미리 채웁니다.

새 프롬프트가 생성되면, 무엇이 효과적이고 무엇이 효과적이지 않은지에 대한 피드백을 Claude에게 제공하여 프롬프트를 더욱 개선할 수 있습니다.

자체 테스트 결과, 프롬프트 개선기는 다중 레이블 분류 테스트에서 정확도를 30% 높였으며[1], 요약 작업에서 단어 수 준수율을 100%까지 끌어올렸습니다[2].

멀티샷(multi-shot) 예시 관리

프롬프트에 예시를 추가하는 것은 모델 응답 품질을 개선하는 가장 효과적인 방법 중 하나이며, 특히 Claude가 출력에서 특정 형식을 정확하게 따르도록 할 때 더욱 그렇습니다. 이제 워크벤치에서 직접 구조화된 형식으로 예시를 관리할 수 있습니다. 이를 통해 명확한 입력/출력 쌍으로 새 예시를 추가하거나 기존 예시를 편집하여 응답 품질을 다듬는 것이 더 쉬워집니다.

프롬프트에 예시가 없는 경우, Claude 기반 예시 생성을 통해 추가할 수 있습니다. Claude는 합성 예시 입력과 초안 출력을 자동으로 생성하여 이 과정을 간소화할 수 있습니다.

예시를 추가하면 다음과 같은 효과가 있습니다.

• 정확성: 지침에 대한 오해를 줄입니다.
• 일관성: 원하는 출력 형식을 보장합니다.
• 성능: 복잡한 작업을 처리하는 Claude의 능력을 향상시킵니다.

이상적인 출력으로 프롬프트 평가하기

우리의 프롬프트 평가 도구를 사용하면 다양한 시나리오에서 프롬프트를 테스트할 수 있습니다. 프롬프트 성능을 벤치마킹하고 개선하는 데 도움을 주기 위해 평가 탭에 선택 사항인 "이상적인 출력" 열을 추가했습니다. 이 열은 사용자가 모델 출력을 5점 척도로 효과적이고 일관되게 채점하는 데 도움을 줍니다.

새 프롬프트를 테스트한 후, 프롬프트 개선기에서 아직 작동하지 않는 부분에 대해 Claude에게 추가 피드백을 주고 결과에 만족할 때까지 이 과정을 반복할 수 있습니다. 또한 프롬프트 개선기는 임의의 요청에 따라 프롬프트와 예시를 수정할 수도 있습니다. 예를 들어, Claude에게 프롬프트와 예시를 변경하여 XML 형식 출력 대신 JSON 형식 출력을 갖도록 요청할 수 있습니다.

고객 스포트라이트: Kapa.ai

기술 지식 기반을 프로덕션 수준의 AI 어시스턴트로 전환해 주는 기술 회사인 Kapa.ai는 프롬프트 개선기를 사용하여 여러 중요한 AI 워크플로를 Claude로 마이그레이션했습니다. Kapa.ai의 공동 창립자인 Finn Bauer는 다음과 같이 말했습니다.

Anthropic의 프롬프트 개선기는 Claude 3.5 Sonnet으로의 마이그레이션을 간소화하고 프로덕션 단계에 더 빨리 도달할 수 있게 해주었습니다.

시작하기

프롬프트 개선기, 예시 관리, 이상적인 출력 기능은 Anthropic 콘솔의 모든 사용자에게 제공됩니다.

Claude로 프롬프트를 개선하고 평가하는 방법에 대해 자세히 알아보려면 문서를 확인하세요.

Footnotes

[1] 500개의 위키피디아 문서와 제목을 활용하여, Claude 3 Haiku가 임의로 선택된 문서의 문장에서 해당 문서 제목을 맞출 수 있는지를 테스트했습니다. 원래 프롬프트와 비교했을 때 Claude 3 Haiku의 정확도는 30% 향상되었습니다.

[2] 10개의 위키피디아 문서를 대상으로, Claude가 특정 단어 수 범위 안에서 요약문을 작성하라는 지시를 얼마나 잘 따르는지를 평가한 결과, 프롬프트 개선기를 거친 후 Claude의 준수율은 100%였습니다.