Keenable AI NEEDLE — 매시간 새로 만드는 라이브 검색 벤치마크, 왜 주목할까?

NEEDLE이 필요한 이유: 왜 기존 벤치마크로는 부족했을까?

기존 검색 품질 평가에는 두 가지 큰 약점이 있었습니다. 첫째, 정답지가 공개 데이터셋에 그대로 노출돼 있다는 점입니다. 요즘 AI 에이전트는 fetch 도구를 통해 평가 도중 정답을 미리 다운로드해 검색 과정을 건너뛸 수 있습니다. 둘째, 답이 이미 LLM의 매개변수 기억(parametric memory) 안에 들어 있는 경우입니다. 모델이 학습 단계에서 이미 답을 외워버리면, 정답을 맞혔더라도 "실제로 검색이 작동했음"을 입증할 수 없게 됩니다.

Keenable의 해법은 단순합니다. 고정된 질문 목록을 쓰지 말고, 매번 공개 데이터에서 새로 뽑자. 이렇게 하면 모델이 답을 미리 외울 수 없고, 평가가 공정해집니다. NEEDLE이라는 이름은 News, Everyday, Expert, Deep-tail, and Legal Evaluation의 약자로, 다섯 가지 서로 다른 검색 의도를 한꺼번에 평가한다는 뜻입니다.

NEEDLE은 무엇을, 어떻게 측정하나?

5가지 평가 영역의 의미

NEEDLE은 AI 에이전트가 실제 업무에서 검색하는 방식을 그대로 모사하려 합니다. 영역은 다음과 같이 나뉩니다.

• News 약 124개의 RSS 피드와 Google Trends에서 최신 항목을 키워드 질문으로 변환합니다. 시의성이 핵심인 영역입니다.
• Finance Wikidata·GLEIF에서 법인 등록 정보를, SEC XBRL에서 분기별 10-Q 수치를 가져옵니다. 정확한 숫자를 찾는 영역입니다.
• Scholar arXiv·Europe PMC에서 한 논문을 네 가지 질문 스타일(훼손된 제목, 본문만으로 답할 수 있는 디테일, 자연어 단서, "혀끝에서 맴도는" 묘사)로 바꿔 평가합니다.
• Deep-tail DeepResearchGym, OpenResearcher, LRAT 등 공개 에이전트 궤적에서 희귀 단어 질문을 샘플링합니다. 실제 에이전트 트래픽과 가장 가깝습니다.
• Legal 14개 연방 법원의 최근 CourtListener 판결문과 eCFR 섹션을 사용합니다.

점수 채점 방식

News와 Deep-tail에는 정답이 하나가 아니기 때문에 LLM 심사위원이 각 결과를 0점에서 4점 사이로 매기고, NEEDLE은 nDCG@5(상위 5개 결과의 관련성을 순위별로 가중 합산한 점수)를 보고합니다. 같은 URL이 여러 번 노출되면 페널티가 붙습니다. Finance는 answer-recall@5로, "사실이 상위 5개 스니펫 안에 도달했는가"만 측정합니다. Scholar와 Legal은 논문·판결 ID가 정확히 일치하는지로 점수를 매기는 known-item 과제입니다.

가장 중요한 개념: "ultimate 천장"이 왜 흥미로울까?

NEEDLE의 가장 독창적인 설계는 ultimate이라는 통합 오라클 엔진입니다. 작동 방식은 이렇습니다.

1. 같은 질문 하나를 15개 검색 API에 모두 던집니다.
2. 15개 엔진이 반환한 결과를 전부 모아 합칩니다.
3. 그 합쳐진 결과 묶음을 관련성 높은 순서로 다시 정렬해 분야 전체의 경험적 천장을 만듭니다.

이 천장은 개별 엔진이 절대 단독으로 도달할 수 없는 상한점수입니다. 그리고 NEEDLE은 두 가지 상황을 명확히 구분해 줍니다.

에이전트형 검색 품질을 논할 때 이 구분은 매우 중요합니다. "엔진이 나쁘다"와 "아직 어디에도 답이 없다"는 완전히 다른 문제이기 때문입니다.

공정한 비교를 위한 5가지 설계 원칙

NEEDLE은 15개 API를 똑같은 조건에서 비교하려 다음과 같이 통제합니다.

• 동일한 질문 텍스트 — 모든 엔진에 같은 문장이 그대로 전달됩니다.
• 한 번에 한 요청 — 동시 부하가 없어 지연 시간 백분위 값을 공정하게 비교할 수 있습니다.
• 재랭킹 없음 — 페이지를 다시 fetch하지 않고 엔진이 반환한 순위를 그대로 채점합니다.
• 2,000자 증거 제한 — 모든 엔진에서 평가용 텍스트는 2,000자로 잘리며, 심사위원은 어떤 엔진인지 모르는 상태에서 채점합니다.
• 단일 프로토콜 — 동일 명령어, 동일 환경에서 돌릴 수 있는 Python CLI 도구 needle을 제공합니다.

현재 분야는 어디까지 왔나: 2026-08-28 종료 7일 평균

Keenable은 NEEDLE 리더보드를 주기적으로 갱신합니다. 7일 평균 기준 분야별 최고 엔진 점수는 다음과 같습니다.

금융(Finance) — 거의 해결 단계

금융 영역은 4개 엔진이 모두 0.84 이상을 기록하며 성숙 단계에 들어섰습니다. ultimate과의 격차도 작아, 더 끌어올릴 여지가 얼마 남지 않았음을 시사합니다.

학술(Scholar) — 엔진 편차가 큼

학술 영역은 같은 논문을 묻는 방식이 4가지인데, 제목 같은 메타데이터 질문은 대부분 맞히지만 본문 디테일 질문은 엔진별로 결과가 크게 갈립니다.

Deep-tail — 가장 어렵고 현실에 가까움

에이전트가 실제로 던지는 희소 단어 질문에서 최고 엔진조차 ultimate 천장의 55.7%만 도달합니다. 실제 에이전트 트래픽에 가까워질수록, 제공된 품질과 달성 가능한 품질 사이의 격차는 벌어집니다.

지연 시간 — 에이전트는 같은 작업을 수십 번 검색한다

에이전트는 한 작업에 검색을 수십 번 호출하기 때문에 지연 시간이 곧 전체 응답 시간에 직결됩니다. Keenable-realtime은 p95 기준 284ms로, 멀티홉 에이전트 워크플로우에서 두드러집니다.

NEEDLE 한 줄 요약과 자주 묻는 질문

NEEDLE은 매시간·매일 자동으로 질문을 다시 만들어 15개 검색 API를 동일 조건으로 평가하는 오픈소스 라이브 벤치마크입니다. 모든 점수는 분야 전체의 경험적 천장인 ultimate을 기준으로 읽힙니다.

마치며: NEEDLE이 던지는 질문

NEEDLE의 진짜 가치는 단순한 점수표가 아니라, "에이전트 시대에 검색 품질을 어떻게 정의할 것인가"라는 질문을 다시 꺼냈다는 데 있습니다. 매시간 바뀌는 질문, 15개 엔진을 같은 기준으로 묶는 단일 프로토콜, 그리고 ultimate 천장이라는 새로운 기준선. 이 세 가지는 앞으로 에이전트형 검색을 평가하는 표준 언어가 될 가능성이 큽니다.

OpenAI의 ChatGPT 검색, Anthropic의 Claude, Google의 Gemini 등 주요 AI 서비스가 모두 자체 검색 백엔드를 강화하는 흐름에서, NEEDLE 같은 독립적인 오픈소스 평가 도구가 갖는 무게는 점점 커질 것입니다. 정답지가 매시간 새로 태어나는 벤치마크가, 결국 가장 정직한 점수를 만들어 줍니다.