AI-Scientist 비교

핵심 정보 요약

빠른 비교표

한 줄 요약

• v1: 정해진 틀(템플릿) 안에서 안정적으로 연구하는 도구
• v2: 틀 없이 자유롭게 탐색하며 연구하는 도구

공통점

기본 기능

• 연구 아이디어 생성 → 실험 설계 → 코드 작성 → 실험 실행 → 결과 분석 → 논문 작성 → 리뷰
• LLM 기반 자동화 (GPT-4o, Claude 3.5 등)
• LaTeX 학술 논문 자동 생성
• 실험 결과 시각화 자동 생성

기술 환경

• Python 3.11, NVIDIA GPU + CUDA, Linux 환경
• LLM API 키 필요 (OpenAI, Anthropic 등)
• Semantic Scholar API 연동 (문헌 검색)

V1: 템플릿 기반 접근법

• 인간이 각 연구 분야별로 미리 작성한 코드 구조(템플릿)를 AI가 수정하여 새로운 연구 수행. 템플릿이 실험의 기본 틀을 제공하고, AI는 그 안에서 파라미터나 알고리즘을 변경
  1. 사용자가 연구 도메인 선택 (템플릿 선택)
  2. AI가 해당 템플릿 기반으로 아이디어 생성
  3. Aider 툴로 템플릿 코드 점진적 수정
  4. 선형적으로 실험 → 분석 → 논문 작성

기술적 특징

• 코드 생성: 기존 코드를 점진적으로 개선 (Incremental Refinement)
• 탐색 전략: 깊이 우선 탐색 (한 방향으로 끝까지)
• 실패 처리: 실패 시 템플릿 내에서 파라미터 조정
• 품질 보장: 템플릿의 검증된 구조에 의존

장점

• 높은 성공률: 검증된 구조로 안정적 결과
• 저비용: 논문당 약 $15
• 예측 가능성: 결과를 어느 정도 예상 가능

한계

• 확장성 부족: 새 분야 진입 시 인간이 템플릿 작성 필요
• 혁신성 제약: 기존 구조 틀 안에서만 변화

V2: Agentic Tree Search 접근법

• v1의 한계
  • 템플릿 의존성 한계: 새로운 도메인마다 인간이 템플릿 작성 필요
  • 혁신성 제약: 기존 구조 틀을 벗어나기 어려움
• v2의 개선점 → 템플릿 없이 AI가 처음부터 연구를 설계. 여러 가설을 트리 구조로 동시에 탐색하며, 실험 매니저 에이전트가 유망한 경로는 확장하고 실패한 경로는 가지치기
  • 트리 서치 도입: 스스로 다양한 아이디어로 이루어진 트리를 구성하고, 이를 하나하나 탐색하면서 아이디어 및 실험 구체화
  • VLM 통합: 시각적 품질까지 고려한 종합적 평가
  • 템플릿 제거
    • 자연어 기반 시작: 마크다운 파일로 연구 주제 기술
    • 동적 코드 생성: LLM이 처음부터 완전한 코드 작성
    • 적응적 실험 설계: 도메인에 맞는 실험 방법론 자동 선택

Best-First Tree Search (BFTS) 원리

• 실험 매니저 에이전트 역할
  • 탐색 관리: 어떤 경로를 확장하고 포기할지 결정
  • 자원 배분: 유망한 연구 방향에 더 많은 컴퓨팅 자원 할당
  • 품질 평가: VLM을 활용한 시각적 결과물 품질 평가

기술적 특징

• 코드 생성: 완전히 새로운 코드를 생성 (Generative Creation)
• 탐색 전략: 너비 우선 탐색 (여러 방향 동시 시도)
• 실패 처리: 실패한 경로 포기하고 새로운 방향 탐색
• 품질 보장: 실시간 품질 평가 및 동적 조정

장점

• 완전 자율성: 인간 개입 없이 모든 ML 도메인 연구
• 탐색적 발견: 예상치 못한 혁신적 아이디어 발굴
• 확장성: 새로운 연구 분야에 즉시 적용 가능

한계

• 낮은 성공률: 탐색적 특성으로 실패 확률 높음
• 높은 비용: 다중 경로 탐색으로 비용 증가
• 복잡성: 설정과 이해가 어려움