Web 1
여러 단계를 거치는 웹 작업을 위한 에이전트 모델.
소개 더 보기
목표를 유지하며 다음 행동을 이어가는 웹 작업을 위해 준비 중입니다. 상세 기능과 이용 방법은 공개 시점에 안내합니다.
상황을 읽고, 선택·점수·참거짓을 판단합니다.
필요한 깊이만큼 생각하고, 결과는 바로 쓸 수 있는 JSON으로.
DECISION 1
선택, 점수, 참·거짓. 상황과 질문을 보내면 필요한 판단을 JSON으로 돌려줍니다. 하나의 상황에 최대 32개 질문을 함께 보낼 수 있습니다.
“배송 예정일이 3일 지났어요.
주문을 취소하고 환불받고 싶어요.”
질문
2~26개 후보 중 선택한 이름과 각 후보의 확률을 함께 반환합니다.
질문
낮음·보통·높음의 3단계에서 API는 0~2 범위의 기대값을 반환합니다. 예시 score는 1.6입니다. 앱에서 0~1 척도가 필요하면 1.6 ÷ 2 = 0.8로 변환할 수 있습니다.
질문
noul = 0.97
명제가 참이라고 판단하는 확률을 0~1로 반환합니다. 실제 발생 빈도나 사실을 보장하는 값은 아닙니다.
출력 이해를 위한 예시입니다. 실제 모델 호출이나 성능 측정값은 아닙니다.
질문마다 사고 예산을 선택합니다. 생략하면 high가 적용됩니다.
질문당 내부 사고 토큰 상한입니다. 실제 사용량은 달라지며, 예산을 늘린다고 정확도가 항상 높아지는 것은 아닙니다.
BRINGER의 9B 판단 모델. 상태와 개별 질문의 합은 32,000토큰까지 지원합니다.
모델별 판단 방식과 전체 스펙실제 측정 지점과 정확한 문항 수로 살펴보는 성능.
BBH 선택형 45문항 · 동일 모델의 즉답과 사고 후 답변
지점을 누르면 아래 수치가 바뀝니다.
사고 후 답변 · 45문항
같은 45문항에서 44개를 맞혔습니다. 즉답보다 16개 더 정답입니다.
동일한 두 실행 조건에서 관측한 차이입니다. 선은 두 측정 지점을 연결하며, 중간 사고 예산의 성능을 추정하지 않습니다. BBH 일부 과제의 선택형 변환 평가로, 공식 BBH 전체 점수가 아닙니다.
| 조건 / 표본 | Decision 1 |
|---|---|
| 즉답 | 28/45 · 62.22% |
| 사고 후 답변 | 44/45 · 97.78% |
BRINGER가 제공한 자체 평가 집계입니다. 새로 실행한 평가가 아니며 일반 대화나 실제 브라우저 작업의 성공률을 입증하지 않습니다. 전체 평가 기준
동일 문항 비교 두 개 · 표본마다 Decision 1과 Jev를 함께 평가
지점을 누르면 아래 수치가 바뀝니다.
선택·참거짓 · 130문항
기존 개발셋의 선택·참거짓 130문항입니다.
정답률이 더 높게 관측된 두 자체 평가를 선별했습니다. 가로축은 서로 다른 평가 표본이며 시간·비용·사고 예산의 추이가 아닙니다. 모델 전반의 통계적 우위는 확정되지 않았습니다.
| 조건 / 표본 | Decision 1 | Jev |
|---|---|---|
| 선택·참거짓 | 119/130 · 91.54% | 111/130 · 85.38% |
| BBH 선택형 | 44/45 · 97.78% | 43/45 · 95.56% |
BRINGER가 제공한 자체 평가 집계입니다. 새로 실행한 평가가 아니며 일반 대화나 실제 브라우저 작업의 성공률을 입증하지 않습니다. 전체 평가 기준
과제당 40문항 · 같은 0~100% 정답률 척도
지점을 누르면 아래 수치가 바뀝니다. 작은 화면에서는 그래프를 옆으로 밀어 볼 수 있습니다.
ARC-Easy · 40문항
과학 지식 선택형의 개발셋 40문항을 모두 맞혔습니다.
가로축은 과제 구분이며 시간·비용·사고 예산의 추이가 아닙니다. 각 40문항의 소규모 표본으로, 한 문항 차이는 2.5%p입니다. 질문당 사고 상한은 512토큰입니다.
| 조건 / 표본 | Decision 1 |
|---|---|
| ARC-Easy | 40/40 · 100.00% |
| ARC-Challenge | 38/40 · 95.00% |
| GSM8K 검증 | 38/40 · 95.00% |
| KLUE-NLI | 39/40 · 97.50% |
| AQuA | 29/40 · 72.50% |
| MMLU-Pro | 28/40 · 70.00% |
BRINGER가 제공한 자체 평가 집계입니다. 새로 실행한 평가가 아니며 일반 대화나 실제 브라우저 작업의 성공률을 입증하지 않습니다. 전체 평가 기준
개발셋 전체 정답률
85.17%
511 / 600 문항
선택형 · 참·거짓 · 점수형 판단
질문당 사고 상한 512토큰
기존 개발셋의 자체 측정으로, 독립 테스트셋 결과가 아닙니다. 사고 상한에 도달한 55문항을 모두 오답 처리하면 79.83% (479 / 600)입니다. 점수형 수치는 연속 점수의 오차가 아닌 최상위 구간의 일치율입니다.
COMING NEXT
판단에서 실행으로, 준비하고 있습니다.
여러 단계를 거치는 웹 작업을 위한 에이전트 모델.
목표를 유지하며 다음 행동을 이어가는 웹 작업을 위해 준비 중입니다. 상세 기능과 이용 방법은 공개 시점에 안내합니다.
모델의 판단을 실제 브라우저 동작으로 연결하는 실행 환경.
에이전트가 브라우저에서 작업할 수 있도록 준비 중입니다. 상세 기능과 이용 방법은 공개 시점에 안내합니다.