Message Batches API 소개

• 카테고리: 제품 발표
• 제품: Claude 개발자 플랫폼
• 게시일: 2024년 10월 8일
• 읽기 시간: 약 5분

업데이트: Message Batches API가 Anthropic API에서 모두에게 공개되었습니다. Amazon Bedrock에서 Claude를 사용하는 고객은 배치 추론을 사용할 수 있습니다. 배치 예측은 Google Cloud의 Vertex AI에서도 미리 보기로 제공됩니다. (2024년 12월 17일)

대량의 쿼리를 비동기적으로 처리하는 강력하고 비용 효율적인 방법인 새로운 Message Batches API를 소개합니다.

개발자는 배치당 최대 10,000개의 쿼리 묶음을 보낼 수 있습니다. 각 배치는 24시간 이내에 처리되며 표준 API 호출보다 비용이 50% 저렴합니다. 이는 시간 제약이 없는 작업을 처리하는 것을 더 효율적이고 비용 효율적으로 만듭니다.

Batches API는 오늘 Anthropic API에서 Claude 3.5 Sonnet, Claude 3 Opus, Claude 3 Haiku에 대한 지원과 함께 공개 베타로 제공됩니다. Amazon Bedrock에서 Claude를 사용하는 고객은 배치 추론을 사용할 수 있습니다. Google Cloud의 Vertex AI에서 Claude에 대한 배치 처리 지원은 곧 제공될 예정입니다.

절반의 비용으로 높은 처리량

개발자들은 실시간 응답이 필요하지 않은 경우, 고객 피드백 분석부터 언어 번역에 이르기까지 방대한 양의 데이터를 처리하기 위해 Claude를 자주 사용합니다.

복잡한 대기열 시스템을 관리하거나 속도 제한에 대해 걱정하는 대신, Batches API를 사용하여 최대 10,000개의 쿼리 그룹을 제출하고 Anthropic이 50% 할인된 가격으로 처리를 담당하게 할 수 있습니다. 배치는 24시간 이내에 처리되지만, 종종 훨씬 더 빨리 처리됩니다. 추가적인 이점은 다음과 같습니다.

• 향상된 처리량: 표준 API 속도 제한에 영향을 주지 않으면서 훨씬 더 많은 요청량을 처리할 수 있도록 더 높은 속도 제한을 누리세요.
• 빅데이터를 위한 확장성: 인프라에 대한 걱정 없이 데이터 세트 분석, 대규모 데이터 세트 분류 또는 광범위한 모델 평가와 같은 대규모 작업을 처리하세요.

Batches API는 이전에는 실용성이 떨어지거나 비용이 많이 들어 불가능했던 대규모 데이터 처리에 대한 새로운 가능성을 열어줍니다. 예를 들어, 수백만 개의 파일이 포함될 수 있는 전체 기업 문서 저장소를 분석하는 것이 배치 할인을 활용함으로써 경제적으로 더 실현 가능해집니다.

가격

Batches API를 사용하면 인프라 비용 절감 효과를 누릴 수 있으며 입력 및 출력 토큰 모두 50% 할인된 가격으로 제공됩니다.

Claude 3.5 Sonnet

• 현재까지 가장 지능적인 모델
• 200K 컨텍스트 윈도우
• 배치 입력: $1.50 / MTok
• 배치 출력: $7.50 / MTok

Claude 3 Opus

• 복잡한 작업을 위한 강력한 모델
• 200K 컨텍스트 윈도우
• 배치 입력: $7.50 / MTok
• 배치 출력: $37.50 / MTok

Claude 3 Haiku

• 가장 빠르고 비용 효율적인 모델
• 200K 컨텍스트 윈도우
• 배치 입력: $0.125 / MTok
• 배치 출력: $0.625 / MTok

고객 스포트라이트: Quora

사용자 기반 질의응답 플랫폼인 Quora는 Anthropic의 Batches API를 요약 및 하이라이트 추출에 활용하여 새로운 최종 사용자 기능을 만듭니다.

Quora의 제품 관리자인 앤디 에드먼즈(Andy Edmonds)는 다음과 같이 말했습니다.

Anthropic의 Batches API는 비용 절감을 제공하는 동시에 실시간으로 처리할 필요가 없는 다수의 쿼리를 실행하는 복잡성을 줄여줍니다. 배치를 제출하고 24시간 이내에 결과를 다운로드하는 것은 동일한 결과를 얻기 위해 많은 병렬 라이브 쿼리를 실행하는 복잡성을 다루는 것보다 훨씬 편리합니다. 덕분에 엔지니어들은 더 흥미로운 문제에 집중할 시간을 확보할 수 있습니다.

시작하기

Anthropic API에서 공개 베타로 제공되는 Batches API 사용을 시작하려면 문서 및 가격 페이지를 살펴보세요.