Junu's Lab
LAB ONLINE Focus Computer Vision / ML / Animal Behavior
Weekly Lab Brief

Animal Behaviour Analysis Weekly Brief — 2026-06-29

Completed
Type
weekly-brief
Date
Jun 29, 2026
Domain
Animal Behavior, Machine Learning, Computer Vision, PyTorch, Pose Estimation
Methods
Research tracking routine
Selected for review:

Animal Behaviour Analysis Weekly Brief — 2026-06-29

기준 시점: 2026-06-29, KST 초점: Animal Behaviour Analysis / Computational Ethology / Animal Pose Estimation / Animal Behavior Recognition 우선순위: labeling 자동화, 데이터 강화, weak supervision, pseudo-labeling, semi-supervised learning, active learning, 자동 annotation, video/keypoint 기반 행동 라벨링 자동화

1. 이번 주 한눈에 보기

이번 주 핵심은 새로운 animal-specific labeling 자동화 SOTA 논문이 갑자기 등장했다기보다는 , 최근 2주 내 공개·리뷰된 도구/데이터셋과 6월 초 공개된 self-supervised 3D 표현학습 흐름을 연결해 보는 것입니다.
  • 가장 직접적으로 봐야 할 자료는 SqueakPose Studio 입니다. eLife Reviewed Preprint v1이 2026-06-16에 공개되었고, 데이터셋 생성, model-assisted labeling, YOLO 기반 pose 학습, 예측 검토, 비디오 inference를 하나의 GUI/파이프라인으로 묶습니다.
  • WildBox는 wildlife/drone 기반 3D perception benchmark 로 중요합니다. 2026-06-19 arXiv에 공개되었고, open-vocabulary 2D foundation model은 어느 정도 동작하지만, zero-shot 3D lifting은 거의 실패한다는 점을 보여줍니다.
  • BEAST3D는 2026-06-01 공개라 최근 1~2주 조건에는 살짝 벗어나지만 , 사용자의 관심사인 “label 없이/적은 label로 동물 행동 표현을 학습할 수 있는가”에 가장 강하게 연결됩니다.
  • DeepLabCut 3.0은 2026-05-21 release라 이번 주 업데이트는 아니지만 , PyTorch-first 전환, SuperAnimal/Model Zoo, annotation GUI 개선 때문에 여름방학 프로젝트의 기준 도구로 볼 만합니다.
labeling 자동화 / 데이터 강화 관점에서 중요한 점 현재 흐름은 “완전 자동 행동 라벨링”보다, 1) pose/keypoint 자동 추출, 2) 모델 예측을 사람이 검토하는 model-assisted labeling, 3) confidence/uncertainty 기반 frame 재선정, 4) pseudo-label refinement, 5) keypoint sequence 기반 행동 segmentation으로 이어지는 human-in-the-loop 자동 annotation 루프 쪽이 현실적입니다. 이번 주 반드시 봐야 하는 자료 1개 SqueakPose Studio: end-to-end pose estimation and real-time edge-AI deployment https://elifesciences.org/reviewed-preprints/111308

2. 이번 주 핵심 트렌드

2.1 End-to-end model-assisted pose labeling 도구가 더 중요해짐

  • 무엇이 바뀌었는가 SqueakPose Studio가 eLife Reviewed Preprint로 공개되면서, 소동물 영상에서 데이터셋 생성, 수동/모델 보조 labeling, YOLO 기반 pose 학습, 예측 검토, video inference를 통합한 도구 흐름이 명확해졌습니다.
  • 왜 중요한가 행동 분석 프로젝트의 병목은 보통 모델 구조보다 annotation workflow입니다. 사용자가 관심 있는 자동 라벨링은 처음부터 완전 자동화되기보다, 모델 예측을 라벨 후보로 만들고 사람이 수정하는 방식으로 실현될 가능성이 큽니다.
  • Animal Behaviour Analysis에 어떻게 연결되는가 행동 인식 모델은 결국 frame-level pose, keypoint sequence, trajectory, 행동 segment label을 필요로 합니다. SqueakPose 같은 도구는 그 앞단의 pose/keypoint annotation 비용을 줄여줍니다.
  • 내가 지금 신경 써야 하는가 : High

2.2 Wildlife foundation model 전이는 아직 3D에서는 불안정함

  • 무엇이 바뀌었는가 WildBox는 drone video 기반 African savanna wildlife 3D detection benchmark를 제시했습니다. 논문은 open-vocabulary 2D localization은 어느 정도 가능하지만, zero-shot 3D detection/lifting은 ground-truth 2D box를 줘도 0.00 AP 수준으로 붕괴한다고 보고합니다.
  • 왜 중요한가 “foundation model이 있으니 동물 행동 분석도 바로 될 것”이라는 가정이 약하다는 것을 보여줍니다. 특히 wildlife, drone, monocular depth, 3D box/pose는 일반 CV 모델의 transfer가 어렵습니다.
  • Animal Behaviour Analysis에 어떻게 연결되는가 야생동물 행동 분석에서 위치, 거리, orientation, herd context는 행동 해석에 중요합니다. 그러나 2D detection만으로는 행동/상호작용 분석에 필요한 3D context가 부족합니다.
  • 내가 지금 신경 써야 하는가 : Medium-High

2.3 Self-supervised 3D representation learning이 annotation 절감 방향으로 중요해짐

  • 무엇이 바뀌었는가 BEAST3D는 calibrated multi-view animal behavior video에서 keypoint label 없이 3D Gaussian splatting 기반 held-out view reconstruction으로 3D-aware representation을 학습합니다.
  • 왜 중요한가 supervised pose estimation은 종/실험셋업이 바뀔 때마다 라벨링이 다시 필요합니다. BEAST3D는 unlabeled multi-view video를 representation 학습에 쓰고, downstream pose estimation과 neural encoding에 전이하는 방향을 보여줍니다.
  • Animal Behaviour Analysis에 어떻게 연결되는가 장기적으로는 “긴 비디오 → self-supervised representation → 소량 label fine-tuning → pose/behavior segmentation” 파이프라인으로 확장될 수 있습니다.
  • 내가 지금 신경 써야 하는가 : High, 단 직접 구현은 나중에

2.4 DeepLabCut 3.0의 PyTorch-first 전환은 프로젝트 기반 학습에 의미 있음

  • 무엇이 바뀌었는가 DeepLabCut 3.0은 PyTorch-first training/inference stack, 확장된 architecture support, SuperAnimal/Model Zoo workflow, 개선된 labeling GUI를 강조합니다.
  • 왜 중요한가 사용자가 PyTorch에 아직 익숙하지 않더라도, DeepLabCut 3.0은 PyTorch 기반 pose estimation pipeline을 실제 연구 도구 맥락에서 접할 수 있게 합니다.
  • Animal Behaviour Analysis에 어떻게 연결되는가 SuperAnimal pretrained model, transfer learning, video adaptation은 적은 label로 pose 추출을 시작하는 데 유용합니다.
  • 내가 지금 신경 써야 하는가 : Medium 이번 주 핵심 실험은 SqueakPose/labeling workflow 중심으로 두고, DeepLabCut은 비교 기준 또는 fallback으로 두는 것이 좋습니다.

3. 추천 논문 1~2편

3.1 SqueakPose Studio: An end-to-end platform for pose estimation and real-time edge-AI deployment

  • 링크 : https://elifesciences.org/reviewed-preprints/111308
  • 발표/업로드 시점 : Preprint 2026-01-26, eLife Reviewed Preprint v1 2026-06-16
  • 분야 : animal pose estimation, behavioral video analysis, model-assisted annotation, edge AI deployment
  • 최신성/신뢰도 : eLife Reviewed Preprint입니다. peer review assessment가 붙었지만, revised final article은 아닙니다.

핵심 문제

기존 pose estimation 도구는 강력하지만, 실제 행동 실험에서는 다음 병목이 큽니다.
  1. 영상에서 프레임을 뽑고,
  2. keypoint를 라벨링하고,
  3. 학습 데이터셋을 만들고,
  4. 모델을 학습하고,
  5. 예측 결과를 검토하고,
  6. 긴 비디오에 inference를 돌리고,
  7. 실시간 실험 장비와 연결하는 과정이 분리되어 있습니다.
SqueakPose Studio는 이 흐름을 하나의 소프트웨어-하드웨어 생태계로 묶으려는 도구형 연구입니다.

핵심 아이디어

  • whole-frame YOLO 기반 pose/detection/segmentation pipeline 사용
  • manual labeling + model-assisted labeling 지원
  • confidence 기반 frame sampling과 prediction review를 통해 라벨링 루프를 줄임
  • GUI 기반 프로젝트 관리
  • SqueakView/MouseHouse를 통해 Jetson 기반 real-time edge deployment까지 확장

모델 구조

입력-처리-출력 흐름으로 보면 다음과 같습니다.
  1. 입력 Raw video, image sequence, 기존 annotation, bounding box, keypoint label, segmentation prompt
  2. 처리
    • PyQt6 GUI에서 데이터셋 생성
    • YOLO pose/detection/segmentation 포맷으로 export
    • YOLOv11s-pose 계열 모델 학습
    • backbone: C2f-Darknet 계열
    • neck: PAN-FPN++ feature fusion
    • heads: detection, pose, segmentation multitask head
  3. 출력
    • keypoint prediction
    • pose/detection/segmentation dataset
    • per-frame CSV
    • video-level inference 결과
    • edge device deployment 결과

입력 데이터

  • 소동물 행동 영상
  • frame 이미지
  • bounding box annotation
  • ordered keypoint annotation
  • segmentation prompt 또는 mask

출력

  • pose keypoint 좌표
  • confidence score
  • video inference 결과
  • CSV 기반 후처리 데이터
  • 모델 예측 기반 annotation 후보

기존 방법과의 차이

DeepLabCut/SLEAP 계열이 pose estimation 연구 도구의 기준점이라면, SqueakPose는 YOLO 기반 whole-frame inference와 GUI 중심의 dataset creation, model-assisted labeling, edge deployment를 한 흐름으로 묶는 데 초점이 있습니다.

실험 데이터셋

논문에서는 top-down open-field mouse video 등 소동물 pose estimation 환경을 중심으로 DeepLabCut ResNet-50과 비교합니다.

성능 또는 주요 결과

  • 동일 조건에서 YOLOv11s-pose가 DeepLabCut ResNet-50 대비 학습 시간이 약 4.5배 빠르다고 보고합니다.
  • 10분 top-down open-field video에서 offline full-video prediction이 DeepLabCut 대비 약 8.5배 빠르다고 보고합니다.
  • keypoint localization precision은 DeepLabCut과 대체로 유사한 수준이라고 설명합니다.

한계점

  • eLife assessment는 도구의 유용성은 compelling하다고 보지만, broader benchmarking, hardware ecosystem documentation, formal software release practice는 더 강화될 필요가 있다고 평가합니다.
  • 즉, “연구 아이디어와 실험 도구로는 유용하지만, 모든 환경에서 검증된 표준 도구”라고 보기는 아직 이릅니다.

내 관심사와의 연결

사용자의 핵심 관심인 자동 라벨링 / 데이터 강화 / 행동 라벨링 자동화 에 가장 직접적으로 연결됩니다. 특히 “모델이 예측한 keypoint를 사람이 검토하고 다시 학습 데이터로 넣는 루프”는 pseudo-labeling, active learning, model-assisted annotation의 실전형 버전입니다.

읽기 우선순위

High

읽을 때 집중할 부분

  1. manual labeling이 어떤 방식으로 model-assisted labeling으로 바뀌는지
  2. YOLO pose output을 행동 분석용 keypoint sequence로 어떻게 바꿀 수 있는지
  3. confidence 기반 frame selection을 active learning으로 확장할 수 있는지
  4. DeepLabCut/SLEAP과 비교할 때 도구적 장점과 한계가 무엇인지

구현 난이도

보통
  • PyTorch/Ultralytics/GUI 의존성이 있으므로 설치 이슈가 있을 수 있습니다.
  • 그러나 논문 전체 구현을 재현하지 않고, “프레임 추출 → 일부 수동 라벨 → 모델 예측 → 예측 검토 → 재학습 후보 선정” 정도의 미니 루프는 1주일 안에 시도 가능합니다.

선행 학습 항목

  • YOLO pose dataset format
  • keypoint visibility flag
  • confidence score 해석
  • train/val split
  • mAP/PCK/keypoint error의 차이

포트폴리오 또는 연구실 지원에 쓸 수 있는 포인트

“동물 행동 분석에서 annotation 병목을 줄이기 위해 model-assisted pose labeling loop를 설계하고, 예측 confidence를 이용해 재라벨링 후보 프레임을 선별하는 미니 파이프라인을 구현했다.”

3.2 BEAST3D: Animal behavioral analysis and neural encoding from multi-view video via Gaussian splatting

  • 링크 : https://arxiv.org/abs/2606.02937
  • 발표/업로드 시점 : 2026-06-01
  • 분야 : self-supervised learning, multi-view animal behavior video, 3D representation learning, pose estimation, neural encoding
  • 최신성/신뢰도 : arXiv preprint입니다. 아직 peer-reviewed final publication으로 보기 어렵습니다.

핵심 문제

multi-view animal behavior video는 3D 움직임을 이해하는 데 강력하지만, 3D pose estimation을 위해서는 많은 keypoint annotation이 필요합니다. 또한 일반 3D reconstruction foundation model은 실험실 동물 영상처럼 sparse-view, fixed camera, close-up animal 조건에서 잘 맞지 않을 수 있습니다.

핵심 아이디어

BEAST3D는 label이 없는 calibrated multi-view animal video에서, 한 시점의 여러 카메라 view를 입력받고 일부 held-out view를 복원하도록 학습합니다. 이때 중간 표현으로 3D Gaussian splats를 사용합니다. 즉, “보이지 않는 view를 맞추려면 동물의 3D 구조를 이해해야 한다”는 self-supervised pretext task를 이용합니다.

모델 구조

입력-처리-출력 흐름은 다음과 같습니다.
  1. 입력 synchronized multi-view animal frames + camera parameters
  2. 처리
    • reference view 일부만 모델에 제공
    • ViT 기반 encoder가 multi-view image feature를 처리
    • transformer가 3D Gaussian splats를 예측
    • differentiable rendering으로 held-out target view를 재구성
    • foreground/background 구분을 위해 video segmentation model에서 distill한 mask supervision 활용
  3. 출력
    • 3D-aware visual representation
    • novel view synthesis 결과
    • downstream multi-view pose estimation feature
    • neural encoding용 feature

입력 데이터

  • calibrated multi-camera animal behavior video
  • camera intrinsic/extrinsic parameters
  • 동기화된 multi-view frames
  • 별도 keypoint label은 pretraining 단계에서 필요하지 않음

출력

  • 3D Gaussian 기반 scene/animal representation
  • held-out view reconstruction
  • downstream pose keypoint prediction용 feature
  • neural activity prediction용 feature

기존 방법과의 차이

  • 일반 self-supervised video representation은 대개 2D clip/trajectory 중심입니다.
  • 일반 3D reconstruction model은 dense overlapping views나 unknown camera geometry를 가정하는 경우가 많습니다.
  • BEAST3D는 실험실 multi-camera animal recording처럼 sparse but calibrated view 조건에 맞춰 3D inductive bias를 넣습니다.

실험 데이터셋

논문은 mouse, rat, chickadee, human 등 네 종류의 recording setup에서 평가했다고 설명합니다.

성능 또는 주요 결과

논문은 BEAST3D가 novel view synthesis, multi-view pose estimation, neural encoding에서 VGGT, E-RayZer, Pose Splatter 등과 비교해 경쟁적이거나 더 나은 결과를 보인다고 보고합니다.

한계점

가장 큰 한계는 compute입니다. 논문은 단일 dataset pretraining에 8×A100 GPU에서 약 32시간이 필요하다고 밝힙니다. 따라서 현재 사용자의 RTX 4060 노트북 환경에서는 원 논문 수준 재현이 현실적이지 않습니다.

내 관심사와의 연결

BEAST3D는 “labeling 자동화”라기보다 label을 줄이기 위한 representation pretraining 입니다. 사용자가 장기적으로 관심 있는 긴 비디오, pose/keypoint sequence, trajectory, 행동 라벨링 자동화로 가려면, 이런 self-supervised representation을 pose/behavior segmentation 앞단에 두는 방식이 중요해질 수 있습니다.

읽기 우선순위

High, 단 구현은 나중에

읽을 때 집중할 부분

  1. 왜 일반 3D foundation model이 animal lab video에서 실패하는지
  2. held-out view reconstruction이 왜 self-supervised signal이 되는지
  3. pretraining feature가 pose estimation에 어떻게 전이되는지
  4. multi-view가 없는 상황에서는 어떤 대체 전략이 가능한지

구현 난이도

어려움
  • 원 논문 재현은 현재 환경에서 비현실적입니다.
  • 대신 논문 아이디어를 축소해 “multi-view가 없을 때 temporal consistency / pseudo-label refinement를 쓸 수 있는가”로 바꿔 미니프로젝트화하는 것이 좋습니다.

선행 학습 항목

  • multi-view geometry 기초
  • camera calibration 개념
  • 3D Gaussian Splatting 개념
  • self-supervised learning pretext task
  • pose estimation downstream fine-tuning

포트폴리오 또는 연구실 지원에 쓸 수 있는 포인트

“동물 행동 분석에서 annotation 비용을 줄이기 위한 self-supervised 3D representation learning 논문을 분석하고, 이를 single-view pseudo-label refinement 문제로 축소해 실험 설계를 제안했다.”

4. 추천 GitHub repo / tool

4.1 SqueakPose Studio

  • 이름 : SqueakPose Studio
  • 링크 : https://github.com/dlhagger/SqueakPoseStudio
  • 무엇을 하는가 소동물 image/video annotation, YOLO dataset creation, model training, prediction review, video inference를 지원하는 desktop application입니다.
  • 최근 업데이트 여부 eLife Reviewed Preprint v1이 2026-06-16에 공개되었습니다. GitHub 자체의 주간 commit 활발성은 이번 브리핑에서 별도로 정량 확인하지 못했습니다.
  • 연구적으로 중요한 이유 행동 분석의 현실 병목인 annotation workflow를 직접 다룹니다. 특히 model-assisted prediction review와 frame export는 pseudo-labeling/active learning 루프로 확장하기 좋습니다.
  • Animal Behaviour Analysis에 적용 가능성 High. mouse/open-field류 영상뿐 아니라, 작은 규모의 animal pose dataset을 직접 만들어보는 데 적합합니다.
  • 설치/실행 난이도 보통. Python 3.12, uv, PyQt6, PyTorch, Ultralytics 의존성이 있습니다. Windows 환경에서는 CUDA/PyTorch/GUI dependency 충돌 가능성을 감안해야 합니다.
  • 내가 당장 실험해볼 수 있는 부분
    1. 짧은 동물 비디오에서 30~50 frame 추출
    2. bounding box + 5~8개 keypoint labeling
    3. YOLO pose format으로 export
    4. model-assisted prediction을 생성
    5. confidence 낮은 frame을 재검토 후보로 표시
  • 주의할 점 논문 벤치마크 결과를 그대로 일반화하지 말고, 작은 프로젝트에서는 “annotation loop를 설계했다”는 점에 초점을 둬야 합니다.

4.2 DeepLabCut 3.0

  • 이름 : DeepLabCut 3.0
  • 링크 : https://github.com/DeepLabCut/DeepLabCut/releases
  • 무엇을 하는가 markerless animal pose estimation의 대표 도구입니다. 3.0 release는 PyTorch-first training/inference stack, 확장된 architecture support, SuperAnimal/Model Zoo workflow, 개선된 labeling GUI를 강조합니다.
  • 최근 업데이트 여부 2026-05-21 release입니다. 이번 주 업데이트는 아니지만, 여름방학 프로젝트의 기준 도구로 중요합니다.
  • 연구적으로 중요한 이유 animal pose estimation에서 널리 쓰이는 기준 도구이며, SuperAnimal pretrained model과 transfer learning workflow는 적은 label로 시작하기 좋습니다.
  • Animal Behaviour Analysis에 적용 가능성 High. 특히 keypoint sequence를 얻은 뒤 VAME/Keypoint-MoSeq/B-SOiD류 행동 segmentation으로 연결하기 좋습니다.
  • 설치/실행 난이도 보통. 최신 PyTorch/CUDA 환경을 맞추는 것이 핵심입니다.
  • 내가 당장 실험해볼 수 있는 부분 SuperAnimal 또는 Model Zoo workflow를 써서 동물 영상 일부에 pose prediction을 돌리고, 결과를 keypoint sequence CSV로 저장한 뒤 행동 segment 후보를 시각화합니다.
  • 주의할 점 pretrained model이 모든 종/각도/화질에서 잘 동작한다고 가정하면 안 됩니다. confidence score와 실패 frame을 기록해야 포트폴리오 가치가 생깁니다.

4.3 WildBox dataset / benchmark

  • 이름 : WildBox
  • 링크 : https://arxiv.org/abs/2606.21309
  • 무엇을 하는가 African savanna wildlife drone video에서 monocular 3D detection을 평가하는 dataset/benchmark입니다.
  • 최근 업데이트 여부 2026-06-19 arXiv 공개. 논문은 code, dataset, baseline checkpoint release를 언급합니다.
  • 연구적으로 중요한 이유 wildlife behavior analysis에서 2D detection을 넘어 3D 위치/거리/크기 추정이 얼마나 어려운지 명확히 보여줍니다.
  • Animal Behaviour Analysis에 적용 가능성 Medium. 직접 학습은 어렵지만, “foundation model의 zero-shot 전이 한계”를 정리하는 문헌 리뷰 소재로 좋습니다.
  • 설치/실행 난이도 어려움. 3D detection, drone geometry, A40급 GPU 실험 환경을 요구할 수 있습니다.
  • 내가 당장 실험해볼 수 있는 부분 직접 학습보다는 논문에서 제시한 실패 사례를 읽고, Animal Kingdom 같은 2D behavior dataset과 비교해 “2D behavior recognition vs 3D wildlife perception” 차이를 정리하는 것이 현실적입니다.
  • 주의할 점 WildBox는 행동 라벨링 자동화 논문이 아닙니다. 데이터셋/benchmark로서 의미가 큽니다.

5. 이번 주 미니프로젝트 제안

  • 프로젝트 제목 Model-Assisted Animal Pose Labeling Loop: 작은 동물 영상에서 pseudo-label 후보 만들기
  • 목표 동물 행동 분석에서 annotation 병목을 줄이기 위한 최소 파이프라인을 직접 설계합니다.
  • 배경 SqueakPose Studio와 DeepLabCut 3.0의 핵심은 모델 구조 자체보다, 사람이 모든 프레임을 라벨링하지 않고 모델 예측을 검토·수정하는 workflow입니다. 이번 주 프로젝트는 완전한 행동 인식 모델이 아니라, 행동 인식의 앞단인 pose/keypoint annotation loop를 만드는 데 집중합니다.
  • 사용할 데이터 또는 대체 데이터 1순위: Animal Kingdom dataset의 작은 action recognition 또는 pose estimation subset 대체: 짧은 공개 동물 영상에서 30~50 frame 추출 대체 2: DeepLabCut/SLEAP tutorial video 또는 mouse open-field 예제
  • 사용할 모델/tool/repo
    • SqueakPose Studio
    • 또는 DeepLabCut 3.0 / SuperAnimal
    • 보조 분석: Python notebook, pandas, matplotlib
  • 최소 구현 범위
    1. 짧은 동물 비디오 1개 선정
    2. 30~50 frame 추출
    3. 5~8개 keypoint schema 정의
    4. 일부 frame 수동 labeling
    5. 모델 예측 또는 pseudo-label 후보 생성
    6. confidence 낮은 frame / occlusion frame / 이상 frame을 재검토 후보로 분류
    7. 실패 유형을 표로 정리
  • 확장 구현 범위
    1. confidence threshold별 pseudo-label 채택률 비교
    2. temporal smoothing 적용 전후 비교
    3. keypoint trajectory 시각화
    4. keypoint sequence로 간단한 행동 segment 후보 만들기
    5. “active learning candidate frame selection” 규칙 설계
  • 예상 산출물
    • Notion 정리: 논문/도구 요약 + 실험 설계
    • Velog 글: “동물 행동 분석에서 라벨링 자동화는 어디서 시작해야 할까?”
    • GitHub README
    • notebook
    • demo image/video: 원본 frame 위 keypoint overlay
  • 포트폴리오에 남길 수 있는 한 줄 설명 > 동물 행동 분석의 annotation 병목을 줄이기 위해 model-assisted pose labeling loop를 설계하고, confidence 기반 재검토 프레임 선별 규칙을 구현했다.
  • 예상 소요 시간 6~10시간
  • 실패 가능성이 높은 부분
    • SqueakPose/DeepLabCut 설치 문제
    • GPU/CUDA 충돌
    • 적절한 동물 영상/프레임 확보 문제
    • keypoint schema가 동물 종류와 맞지 않는 문제
  • 실패했을 때 대체 목표 실제 학습까지 가지 못하면, 다음만 완성해도 충분합니다.
    1. SqueakPose 논문 구조 정리
    2. annotation schema 설계
    3. sample frame 10장 수동 라벨링
    4. pseudo-labeling/active learning loop 설계도 작성
    5. 실패 원인과 다음 실험 계획 정리

6. 이번 주 읽기 루틴

6.1 1회독: 흐름만 확인

  • SqueakPose Studio: Abstract, eLife Assessment, Figure 1, Results 첫 부분
  • BEAST3D: Abstract, Introduction, Figure 2, Conclusion
  • WildBox: Abstract, Dataset summary, zero-shot 3D failure 결과
목표는 수식 이해가 아니라, 다음 질문에 답하는 것입니다.
  1. 이 논문이 줄이려는 병목은 무엇인가?
  2. manual label을 줄이는 방식인가, inference 속도를 높이는 방식인가, benchmark를 제시하는 방식인가?
  3. 내 미니프로젝트로 축소할 수 있는 부분은 무엇인가?

6.2 2회독: 모델 구조에서 볼 부분

  • SqueakPose Studio
    • YOLO pose 구조
    • detection/pose/segmentation head가 어떻게 연결되는지
    • model-assisted labeling이 어디서 들어가는지
  • BEAST3D
    • reference view와 target view의 역할
    • 3D Gaussian splats가 왜 중간 표현인지
    • held-out view reconstruction이 왜 self-supervision인지
  • WildBox
    • 2D open-vocabulary detection과 3D lifting을 분리해서 평가한 이유
    • ground-truth 2D box를 줘도 3D가 실패했다는 점의 의미

6.3 3회독: 내 프로젝트 아이디어로 연결

  • “완전 자동 행동 라벨링” 대신 “모델 예측 → 사람이 검토 → 재학습 후보 선정” 루프로 바꾸기
  • pose/keypoint를 행동 인식의 중간 표현으로 저장하기
  • confidence, occlusion, temporal inconsistency를 active learning 기준으로 삼기
  • 긴 비디오에서는 모든 프레임을 처리하지 않고 keyframe/frame selection을 먼저 적용하기

6.4 정리할 질문 3개

  1. 동물 행동 라벨링 자동화에서 내가 줄이려는 비용은 frame-level keypoint annotation 비용인가, behavior segment label 비용인가?
  2. pose/keypoint sequence만으로 행동을 구분하기 어려운 순간은 언제이며, 그때 raw video context가 필요한가?
  3. pseudo-label을 그대로 쓰면 어떤 오류가 누적될 수 있고, 사람이 검토해야 하는 frame은 어떤 기준으로 고를 수 있는가?

7. 다음 주 watchlist

7.1 추적 키워드 5개

  1. animal pose estimation pseudo-labeling
  2. animal behavior recognition weak supervision
  3. keypoint sequence behavior segmentation
  4. active learning pose estimation video
  5. video foundation model animal behavior

7.2 추적할 repo/tool 3개

  1. SqueakPose Studio
    https://github.com/dlhagger/SqueakPoseStudio
  2. DeepLabCut
    https://github.com/DeepLabCut/DeepLabCut
  3. Keypoint-MoSeq
    https://github.com/dattalab/keypoint-moseq

7.3 다음 주에 다시 확인할 open question 3개

  1. SqueakPose Studio repo에 installation issue, release, documentation update가 있는가?
  2. WildBox dataset/checkpoint release가 anonymous review 링크에서 공식 GitHub/Hugging Face 링크로 바뀌었는가?
  3. animal-specific weak supervision / pseudo-labeling 논문이 새로 나왔는가, 아니면 human action recognition 쪽 논문을 전이해서 봐야 하는가?

Notion / Velog / 포트폴리오 업로드용 초안

제목 후보

동물 행동 분석에서 라벨링 자동화는 어디서 시작해야 할까: SqueakPose, WildBox, BEAST3D로 본 2026년 6월 연구 흐름

요약문

이번 주에는 animal behavior analysis 분야에서 완전 자동 행동 인식 모델보다, annotation workflow를 줄이는 도구와 benchmark의 중요성이 더 뚜렷하게 보였다. SqueakPose Studio는 데이터셋 생성, model-assisted labeling, YOLO pose training, prediction review, video inference를 하나로 묶는 도구형 연구이며, 실제 프로젝트에서 라벨링 자동화 루프를 설계하기 좋은 출발점이다. WildBox는 drone 기반 wildlife 3D perception에서 foundation model의 zero-shot 전이가 아직 취약하다는 점을 보여준다. BEAST3D는 label 없이 multi-view video에서 3D-aware representation을 학습하는 방향을 제시하며, 장기적으로 pose/keypoint 기반 행동 분석과 weak supervision 연구로 확장될 가능성이 크다.

태그

#AnimalBehaviourAnalysis #ComputationalEthology #AnimalPoseEstimation #BehaviorRecognition #PseudoLabeling #ActiveLearning #WeakSupervision #DeepLabCut #SqueakPose #BEAST3D #WildBox #ComputerVision

GitHub README 초안

Model-Assisted Animal Pose Labeling Loop

Overview

This mini project explores a practical model-assisted annotation workflow for animal behavior analysis. Instead of manually labeling every video frame, the goal is to create a small human-in-the-loop pipeline that combines manual keypoint labels, model predictions, confidence-based review, and pseudo-label candidate selection.

Motivation

Animal behavior recognition depends heavily on pose/keypoint trajectories, but pose annotation is expensive and repetitive. Recent tools such as SqueakPose Studio and DeepLabCut 3.0 suggest that a realistic path toward labeling automation is not full automation from the beginning, but an iterative loop:
  1. label a small number of frames,
  2. train or run a pretrained pose model,
  3. generate pseudo-label candidates,
  4. review low-confidence or inconsistent frames,
  5. update the training set.

Goals

  • Define a small animal keypoint schema.
  • Extract 30–50 frames from a short animal video.
  • Create a small manually labeled seed set.
  • Generate model-assisted predictions or pseudo-label candidates.
  • Select frames for human review using confidence or temporal inconsistency.
  • Visualize keypoint trajectories and failure cases.

Tools

  • SqueakPose Studio or DeepLabCut 3.0
  • Python
  • pandas
  • matplotlib
  • OpenCV

Expected Outputs

  • notebooks/pose_labeling_loop.ipynb
  • data/sample_frames/
  • outputs/keypoint_overlay/
  • outputs/pseudo_label_review.csv
  • README.md
  • short demo image or video with keypoint overlay

Portfolio One-liner

Designed a model-assisted animal pose labeling loop to reduce annotation cost in animal behavior analysis using confidence-based pseudo-label review.

참고 링크