검색 상세

바이오 실험 프로토콜 생성을 위한 멀티 에이전트 프레임워크 제안

Multi-agent Framework Design for Laboratory Protocol Generation

초록(요약문)

본 연구는 바이오 분야의 Materials and Methods 텍스트로부터 재현 가능한 수준의 실험 프로토콜을 생성하는 멀티 에이전트 프레임워크를 최초로 제안한다.“실험 프로토콜 생성”이라는 복잡한 과업에 대한 단일 LLM 의 낮은 정확도와 높은 환각을 극복하고자 기존 연구들은 사전 정의 스키마 혹은 도메인 파인 튜닝을 적용하였다. 다만, 이러한 접근은 범용적 적용의 한계와 설명력 부족의 문제가 존재한다. 이에 본 연구는 바이오 분야 논문의 구조적 한계—비정형적 절차 표현, 조건 및 재료 명시 누락, 순서 정보의 암묵— 를 파악하고 이를 해결하고자, 멀티 에이전트 구조를 착안하였다. 본 연구는“계획 – 구조화 – 검증”역할을 각 에이전트에게 분업화 및 전문화 하여 계층적으로 연결한 멀티 에이전트를 설계를 제안한다. 위 멀티 에이전트는 단일 LLM 대비 스텝 재현율, 순서 정합성, 실험 물질 및 조건 복원에서 모두 향상된 성능을 보이며 설계의 유효함을 입증했다. 더 나아가, 검증 역할의 Verifier 에이전트는 ReAct 와 Chain-of-Verification 기법을 통합하여 출력의 사실성과 정확도를 높이는 효과를 보였다. 이는 높은 정확도의 프로토콜을 신뢰성 있게 생성한다는 점에서 연구적 의의를 가진다. 본 연구는 실험 재현성 위기(Reproducibility Crisis)라는 문제에 실질적으로 기여하였으며, 향후 다양한 도메인과 적용 범위의 확장 가능성을 가진다.

more

초록(요약문)

In this work, we present a multi-agent framework designed to generate biological laboratory protocols based on the Materials and Methods of science literature. It is the first time to suggest multi-agent based structure for the corresponding goal. When it comes to a complex task like “protocol generation”, usage of naïve-LLM results in low accuracy and high hallucination rates. To overcome such limitation, prior research applied predefined action schemas or domain-specific fine-tuning. However, these methods lack in versatility and explainability. Several challenges were identified in the Materials and Methods of biology literature: atypical procedure expression, omission of materials and conditions, and implicit information of order. To address these limitations, we propose a collaboration of multi agents in which each of the roles (planning, structuring, and verification) are distributed and specialized. Experimental results reveal that such multi-agent design significantly improves step accuracy, ordering consistency, and materials/conditions extraction compared with single-LLM baselines. Furthermore, Verifier agent equipped with ReAct and Chain-of-Verification technique not only enhances fidelity of the protocols, but also reliability of the whole process. Overall, the proposed multi-agent framework mitigates the ongoing reproducibility crisis in biological research and offers high expandability to similar domains.

more

목차

제 1장 서론 10
제 1 절. 연구 배경 10
제 2 절. 연구 목표 12
제 2장 이론적 배경 15
제 1 절. 과학 특화 LLM 의 발달 15
제 2 절. 멀티 에이전트의 역할 분업 및 전문화 16
제 3 절. REACT 기반 CHAIN-OF-VERIFICATION 17
제 3장 선행 연구 19
제 1 절. 바이오 실험 프로토콜 벤치마크 연구 19
제 2 절. 바이오 실험 프로토콜 생성 및 평가 연구 19
제 4장 연구 설계 21
제 1 절. 데이터 셋 구성 21
제 2 절. 멀티 에이전트 아키텍처 및 워크플로우 22
제 3 절. 평가 지표 및 방법 26
제 4 절. 구현 세부 설계 및 기술 스택 28
제 5 장 연구 결과 및 분석 30
제 1 절. 에이전트 단계별 프로토콜 생성 성능 분석 30
1.1. Task Planner 및 Step Planner 의 Blueprint 계획 30
1.2. Action Extractor 의 Material 및 Condition 추출 37
1.3. Verifier 의 Action IR 보정 43
제 2 절. 멀티 에이전트 파이프라인 성능 분석 44
제 6장 결론 50

more