Junu's Lab
LAB ONLINE Focus Computer Vision / ML / Animal Behavior
Weekly Lab Brief

Animal Behaviour Analysis Weekly Brief — 2026.07.27.

Completed
Type
weekly-brief
Date
Jul 27, 2026
Domain
Methods
Research tracking routine
Selected for review:

Animal Behaviour Analysis Weekly Research Briefing

기준일: 2026-07-27 우선 검색 기간: 2026-07-13 ~ 2026-07-27 분야: Animal Behaviour Analysis / Computational Ethology / Animal Pose Estimation / Animal Behavior Recognition
이번 주 결론: 이번 주에는 범용 animal pose SOTA보다, 실제 현장에서 장시간 영상을 수집·추적·요약하는 시스템과 행동 표현을 비교하는 연구가 더 중요했습니다. 가장 추천하는 자료는 BeeMonitor 입니다. Raspberry Pi 기반 촬영 장치, YOLO 탐지, multi-object tracking, trajectory feature 기반 event classification을 통합하므로 현재 BMOD 프로젝트와 직접 연결됩니다.

1. 이번 주 한눈에 보기

  • BeeMonitor 가 2026년 7월 17일 bioRxiv preprint로 공개되었습니다. 공동주택형 벌집에서 solitary bee의 출입 행동을 자동 감지하기 위한 IoT 촬영 장치와 computer-vision pipeline을 함께 제공합니다.
  • 공개 repo는 Raspberry Pi 카메라 시스템, motion-triggered processing, YOLO 기반 탐지, custom multi-object tracking, Random Forest event classifier를 포함합니다.
  • Comparison of multiple video tracking-based behavioral summary approaches for compound discrimination 는 2026년 7월 23일 공개되었습니다. 전통적인 trajectory aggregation, Keypoint-MoSeq와 같은 unsupervised segmentation 등 여러 행동 요약 방식을 비교합니다.
  • Tracking animal routes in 3D space through reconstructed habitats from dynamic videos 는 최근 공개된 preprint로, 동물 이동 경로를 재구성된 3D habitat에 정렬하는 방향을 다룹니다.
  • KABR Telemetry 는 드론의 GPS, 고도, 자세, gimbal 정보와 wildlife bounding box 및 행동 라벨을 함께 제공합니다.

Labeling 자동화 / 데이터 강화 관점에서 중요한 점

이번 주 핵심은 직접적인 pseudo-labeling 알고리즘보다 다음과 같은 자동 데이터 수집·정제 구조 입니다.
  1. motion detection으로 무의미한 idle frame을 건너뜀
  2. detector와 tracker로 긴 영상에서 event candidate를 자동 추출
  3. trajectory feature로 실제 행동 event와 noise를 구분
  4. low-confidence event만 사람이 확인하는 review workflow로 확장
  5. camera/drone telemetry를 이용해 camera motion과 동물 motion을 분리

이번 주 반드시 볼 자료

BeeMonitor 현재 고민 중인 “Raspberry Pi에서는 객체 추적과 녹화만 수행하고, 행동 분석은 노트북에서 처리하는 구조”와 거의 같은 시스템 설계 문제를 다룹니다.

2. 이번 주 핵심 트렌드

2.1 행동 인식보다 먼저 event candidate를 자동으로 줄이는 구조

  • 무엇이 바뀌었는가: BeeMonitor는 매 frame에 무조건 무거운 detector를 실행하지 않고, 가벼운 motion detection mode와 full tracking mode를 전환합니다.
  • 왜 중요한가: 장시간 동물 관찰 영상의 대부분은 행동이 없거나 관심 영역이 비어 있을 수 있습니다.
  • Animal Behaviour Analysis 연결: 행동 구간 후보를 먼저 자동 검출한 뒤, 해당 구간에만 pose estimation이나 behavior classifier를 적용할 수 있습니다.
  • 내가 지금 신경 써야 하는가: High
  • 신뢰도: bioRxiv preprint + 공개 GitHub repo

2.2 Detection → tracking → trajectory feature → event classification 구조

  • 무엇이 바뀌었는가: BeeMonitor는 YOLO detection 결과를 custom tracker로 연결하고, trajectory에서 길이, 속도, 방향, nest 접근 거리 등을 계산해 Random Forest로 entry/exit event를 분류합니다.
  • 왜 중요한가: fine-grained 행동을 처음부터 video transformer로 분류하지 않고, 명확한 운동학적 feature로 문제를 단순화할 수 있습니다.
  • Animal Behaviour Analysis 연결: feeding, drinking, resting, exploring 중 일부는 이동 속도, 정지 비율, 특정 영역 접근 여부로 먼저 구분할 수 있습니다.
  • 내가 지금 신경 써야 하는가: High

2.3 행동 분석 방법은 하나의 정답보다 목적에 맞는 summary representation 선택이 중요

  • 무엇이 바뀌었는가: 최근 preprint는 video tracking 결과를 요약하는 여러 방법을 비교하며, parametric aggregation과 Keypoint-MoSeq 같은 unsupervised segmentation을 함께 검토합니다.
  • 왜 중요한가: 복잡한 unsupervised model이 단순 feature aggregation보다 항상 낫지는 않을 수 있습니다.
  • Animal Behaviour Analysis 연결: 현재 Duck 프로젝트에서도 speed, occupancy, movement range 같은 단순 feature baseline을 먼저 만들고, 이후 Keypoint-MoSeq/VAME와 비교하는 편이 적절합니다.
  • 내가 지금 신경 써야 하는가: High

2.4 Camera telemetry를 행동 분석의 nuisance variable로 활용

  • 무엇이 바뀌었는가: KABR Telemetry는 frame 번호, 개체 ID, GPS, drone altitude, compass, pitch, roll, gimbal orientation, bounding box, species, behavior label을 함께 제공합니다.
  • 왜 중요한가: 움직이는 카메라에서는 화면상 trajectory가 동물의 움직임과 카메라 움직임이 혼합된 결과입니다.
  • Animal Behaviour Analysis 연결: camera motion 보정, altitude에 따른 bounding-box scale 보정에 활용할 수 있습니다.
  • 내가 지금 신경 써야 하는가: Medium~High

2.5 행동 경로를 2D 화면이 아니라 재구성된 3D 환경에 배치

  • 무엇이 바뀌었는가: 동물 영상과 habitat reconstruction을 연결해 이동 경로를 3D 공간에 표시하는 연구가 공개되었습니다.
  • 왜 중요한가: 2D image coordinate는 camera viewpoint에 종속되지만, 3D route는 실제 환경 구조와 행동을 직접 연결할 수 있습니다.
  • Animal Behaviour Analysis 연결: burrow, nest, obstacle, feeding site와 동물 경로의 관계 분석에 적합합니다.
  • 내가 지금 신경 써야 하는가: Medium

3. 추천 논문 1~2편

3.1 BeeMonitor: Automated IoT video surveillance and an AI-powered video processing system for monitoring the foraging and nesting behavior of cavity-nesting solitary bees

핵심 문제

solitary bee의 nest entry/exit와 foraging activity를 장기간 관찰하려면 사람이 영상을 직접 검토해야 하며, 현장에서는 전력·저장 공간·네트워크 제약도 존재합니다.

핵심 아이디어

  1. Raspberry Pi와 카메라가 bee hotel을 촬영
  2. motion detection으로 활동이 없는 구간은 가볍게 처리
  3. 활동이 감지되면 YOLO detector 실행
  4. custom BeeTrack으로 개체 trajectory 연결
  5. trajectory feature를 Random Forest classifier에 입력
  6. nest entry/exit event와 timestamp 출력

모델 구조: 입력–처리–출력

  • 입력: 고정 카메라 bee-hotel video
  • 1차 처리: 관심 영역과 motion blob 검출
  • 2차 처리: YOLO 기반 bee 및 nest detection
  • 3차 처리: Kalman filter와 Hungarian matching 기반 tracking
  • 4차 처리: trajectory length, displacement, speed profile, nest proximity, direction feature 계산
  • 5차 처리: Random Forest event classifier
  • 출력: entry/exit event, nest ID, frame/time, trajectory

주요 결과

공개 repo는 110분 영상과 300개의 수동 annotation event로 평가했다고 설명하며, full-tracking mode에서 precision 93.9%, recall 87.7%, F1 0.907을 보고합니다. two-mode adaptive processing은 F1 0.880입니다.

한계

  • 특정 bee hotel 구조와 solitary bee 행동에 맞춘 system
  • 평가 규모가 크지 않음
  • preprint이고 독립 재현 부족
  • repo가 초기 단계
  • 공개 pretrained weight와 sample data 여부 확인 필요

내 관심사와의 연결

매우 높음 특히 다음 주제와 직접 연결됩니다.
  • Raspberry Pi 기반 자동 촬영
  • motion-triggered recording
  • 객체 추적
  • trajectory feature extraction
  • event classification
  • edge–laptop 분리 구조
  • BMOD 프로젝트 전환 방향

읽기 우선순위

High

읽을 때 집중할 부분

  1. motion mode와 full-tracking mode 전환 기준
  2. tracker의 track resurrection 방식
  3. trajectory feature
  4. event annotation 단위
  5. Raspberry Pi와 분석 computer 간 역할 분리
  6. false positive review 방식

구현 난이도

  • 전체 시스템: 어려움
  • software pipeline 일부: 보통
  • trajectory feature + Random Forest: 쉬움~보통

포트폴리오 포인트

Raspberry Pi 기반 동물 관찰 시스템을 설계하고, motion-triggered recording, object tracking, trajectory feature extraction, event classification을 연결한 edge-to-laptop behavior monitoring prototype을 구현했습니다.

3.2 Comparison of multiple video tracking-based behavioral summary approaches for compound discrimination

핵심 문제

video tracking 결과를 어떻게 요약해야 실험 조건이나 compound에 따른 행동 차이를 가장 잘 구분할 수 있는지 명확하지 않습니다.

핵심 아이디어

같은 tracking data에 대해 다음을 비교합니다.
  • parametric feature aggregation
  • 시간 구간 또는 상태 기반 summary
  • Keypoint-MoSeq 기반 unsupervised segmentation
  • 기타 tracking-derived representation

모델 구조

  1. trajectory 또는 pose sequence 입력
  2. predefined feature 집계
  3. unsupervised sequence segmentation
  4. 개체·조건별 behavior summary vector 생성
  5. compound/condition discrimination 성능 비교

주요 결과

검색 가능한 초록 정보만으로 세부 승자와 정확한 수치를 확정하기 어렵습니다. 핵심 가치는 복잡한 unsupervised method와 단순 parametric summary를 동일 downstream 목적에서 비교한다는 점입니다.

한계

  • preprint
  • 특정 실험과 compound discrimination에 맞춘 결과일 수 있음
  • 다른 species로의 일반화 불명확
  • 원문 표와 split 기준 확인 필요

내 관심사와의 연결

높음 BMOD에서 CLIP embedding classifier의 성능이 낮을 때, 단순 trajectory feature, pose sequence, unsupervised behavioral syllable 중 어떤 표현이 적합한지 결정하는 근거가 됩니다.

읽기 우선순위

High

구현 난이도

  • 전체 재현: 어려움
  • parametric baseline: 쉬움
  • Keypoint-MoSeq: 보통~어려움

포트폴리오 포인트

동일한 animal tracking sequence를 parametric trajectory feature와 unsupervised behavior segmentation으로 각각 요약하고, downstream behavior discrimination 성능과 해석 가능성을 비교했습니다.

4. 추천 GitHub repo / dataset / tool

4.1 BeeMonitor

  • 링크: https://github.com/Team-Insect-Net/BeeMonitor
  • 기능: Raspberry Pi 촬영 hardware, YOLO detection, BeeTrack MOT, trajectory feature, event classifier
  • 최근 업데이트: 2026년 7월 preprint와 함께 공개
  • 적용 가능성: High
  • 난이도: 보통~어려움
  • 당장 실험: motion-triggered frame selection, trajectory feature, Random Forest event classifier
  • 주의: 초기 repo, AGPL-3.0, 공개 weight/sample 확인 필요

4.2 KABR Telemetry

  • 링크: https://huggingface.co/datasets/imageomics/KABR-telemetry
  • 기능: Kenyan wildlife drone video의 telemetry, bounding box, species, behavior 정보
  • 연구적 중요성: 동물 movement와 camera movement를 함께 분석 가능
  • 적용 가능성: Medium~High
  • 난이도: 쉬움
  • 당장 실험: altitude와 box size 관계, gimbal motion과 trajectory 관계, behavior class별 촬영 조건 비교
  • 주의: 데이터 수집 시점과 최근 공개·업데이트 시점을 구분해야 함

4.3 Keypoint-MoSeq

  • 링크: https://github.com/dattalab/keypoint-moseq
  • 기능: keypoint sequence에서 unsupervised behavioral syllable 발견
  • 최근성: 이번 주 새 release는 아니며, 최근 비교 preprint의 기준 방법으로 다시 중요
  • 적용 가능성: High
  • 난이도: 보통~어려움
  • 당장 실험: 작은 keypoint dataset의 syllable discovery와 수동 label 비교
  • 주의: discovered state가 사람이 정의한 행동과 일치한다고 보장할 수 없음

5. 이번 주 미니프로젝트

프로젝트 제목

BMOD Motion-Triggered Tracking and Event Review Prototype

목표

Raspberry Pi 또는 webcam 영상에서 움직임이 발생한 구간만 저장하고, 객체 trajectory를 추출한 뒤 low-confidence event를 사람이 검토하는 prototype을 만듭니다.

배경

BeeMonitor는 edge device에서 모든 frame에 heavy inference를 수행하지 않고, motion detection과 full tracking mode를 전환합니다. 이 구조를 Duck/BMOD 프로젝트에 맞게 축소합니다.

사용할 데이터

  1. 현재 duck video
  2. webcam 촬영 영상
  3. KABR의 짧은 clip
  4. 단일 객체 wildlife video

사용할 도구

  • OpenCV
  • YOLO 또는 기존 detector
  • centroid tracker 또는 ByteTrack
  • pandas
  • scikit-learn

최소 구현 범위

  1. frame difference 또는 background subtraction
  2. threshold 이상 움직임에서 event 시작
  3. event 전 0.5~1초 lookback buffer 포함
  4. event 중에만 detector/tracker 실행
  5. trajectory CSV 저장
  6. duration, path length, displacement, speed, stationary ratio, variance, direction change 계산
  7. rule 또는 Random Forest로 valid movement/noise 분류
  8. confidence가 낮은 event를 review queue에 저장

확장 범위

  • Raspberry Pi camera 실시간 적용
  • object crop video 저장
  • Feeding/Exploring/Resting classifier
  • thumbnail review UI
  • accept/edit/reject 결과 재학습
  • active learning 전후 검토량 비교

예상 산출물

  • Notion
  • Velog
  • GitHub README
  • notebook
  • trajectory CSV
  • event review CSV
  • demo video
  • 처리 시간 비교표

포트폴리오 한 줄

장시간 동물 관찰 영상의 연산량을 줄이기 위해 motion-triggered recording, object tracking, trajectory feature extraction, confidence-based human review를 연결한 edge-to-laptop monitoring prototype을 구현했습니다.

예상 소요 시간

8~12시간

실패 가능성이 높은 부분

  • camera shake
  • 작은 객체 누락
  • tracker ID switch
  • 짧은 event feature 불안정
  • Raspberry Pi 속도 부족

실패 시 대체 목표

실시간 처리를 포기하고 저장된 video에 대한 offline event extraction과 trajectory review까지만 완성합니다.

6. 이번 주 읽기 루틴

1회독

BeeMonitor:
  • abstract
  • system diagram
  • hardware/software 역할
  • motion/full-tracking mode
  • precision/recall/F1
Tracking-summary comparison:
  • 비교한 방법
  • downstream task
  • Keypoint-MoSeq 사용 이유
  • conclusion

2회독

BeeMonitor:
  • detector annotation
  • tracker association
  • trajectory feature
  • event target
  • lookback/cooldown
  • 오류 사례
Tracking-summary comparison:
  • preprocessing
  • parametric aggregation
  • unsupervised segmentation
  • split
  • 평가 지표

3회독

현재 프로젝트와 연결합니다.
  • Pi는 촬영과 motion trigger만 담당할 것인가
  • detector/tracker도 Pi에서 수행할 것인가
  • 어떤 trajectory feature가 Feeding/Exploring/Resting에 유효한가
  • camera motion을 어떻게 제거할 것인가
  • low-confidence event를 어떻게 review할 것인가

정리할 질문 3개

  1. detector를 매 frame 실행하지 않고 event recall을 유지하려면 lookback, cooldown, motion threshold를 어떻게 정해야 하는가?
  2. 단순 trajectory 통계와 Keypoint-MoSeq 중 데이터가 적을 때 무엇이 더 안정적인가?
  3. camera motion과 animal motion을 분리하려면 background optical flow, homography, telemetry 중 무엇을 우선 적용해야 하는가?

7. 다음 주 Watchlist

추적 키워드

  1. motion-triggered animal monitoring
  2. active learning animal event detection
  3. trajectory-based animal behavior classification
  4. camera motion compensation wildlife tracking
  5. keypoint sequence behavioral summary comparison

추적할 repo/tool

  1. BeeMonitor
  2. Keypoint-MoSeq
  3. KABR / kabr-tools

open question

  1. BeeMonitor에 pretrained detector weight와 sample video가 추가되는가?
  2. tracking-summary comparison의 정량 결과에서 단순 feature와 Keypoint-MoSeq 중 무엇이 우세한가?
  3. KABR telemetry와 video를 결합해 camera-motion-corrected trajectory baseline을 만들 수 있는가?

Notion / Velog / 포트폴리오 게시용 자료

제목

장시간 동물 영상을 어떻게 자동으로 줄일 것인가: BeeMonitor의 Motion-Triggered Tracking Pipeline

요약문

이번 주 animal behavior analysis에서 가장 실용적인 연구는 BeeMonitor다. BeeMonitor는 Raspberry Pi 기반 촬영 장치, motion detection, YOLO object detection, custom multi-object tracking, trajectory feature extraction, Random Forest event classification을 하나의 시스템으로 통합한다. 중요한 점은 모든 frame에 무거운 inference를 수행하지 않고, 평상시에는 가벼운 motion detection만 실행하다가 활동이 감지된 구간에서 full tracking mode로 전환한다는 것이다. 이 구조는 현재 BMOD 프로젝트를 객체 추적·자동 녹화 중심으로 전환할 때 직접 참고할 수 있다.

태그

#AnimalBehaviourAnalysis #ComputationalEthology #AnimalTracking #BehaviorRecognition #EdgeAI #RaspberryPi #MotionDetection #MultiObjectTracking #TrajectoryModeling #ActiveLearning #HumanInTheLoop #BeeMonitor #KABR

GitHub README 초안

BMOD Motion-Triggered Animal Monitoring Prototype

Overview

This project implements a lightweight animal monitoring pipeline that detects activity, records event-centered clips, tracks the target animal, extracts trajectory features, and prioritizes uncertain events for human review.

Motivation

Long animal videos contain large amounts of idle footage. Running object detection and behavior classification on every frame wastes computation and storage.

Pipeline

  1. Capture or load video.
  2. Detect motion in a region of interest.
  3. Start an event with a lookback buffer.
  4. Run object detection and tracking.
  5. Save the event clip and trajectory.
  6. Extract motion features.
  7. Classify the event or detect noise.
  8. Send low-confidence events to a review queue.

Evaluation

  • event precision
  • event recall
  • false trigger rate
  • tracking failure rate
  • processing speed
  • percentage of footage skipped
  • human review rate

Portfolio Statement

Built an edge-to-laptop animal monitoring prototype that reduces idle-video processing through motion-triggered recording and combines object tracking, trajectory features, and uncertainty-based human review.

간결한 블로그 초안

장시간 동물 영상은 먼저 줄여야 한다

동물 행동 분석 프로젝트에서는 모델 성능보다 먼저 장시간 영상을 어떻게 처리할지가 문제가 된다. 카메라를 몇 시간 동안 켜 두면 대부분의 frame은 행동이 없거나 관심 대상이 화면에 없는 구간이다. BeeMonitor는 평상시에는 가벼운 motion detection만 수행하고, 움직임이 감지되면 lookback buffer를 포함해 full tracking mode로 전환한다. 이후 YOLO detector와 custom tracker로 trajectory를 만들고, 길이·속도·방향·nest 접근 거리 같은 feature를 계산해 실제 행동 event와 noise를 구분한다. 이 구조는 BMOD 프로젝트에도 적용할 수 있다. Raspberry Pi에서는 motion detection과 event clip 저장을 담당하고, 노트북에서는 detector, tracker, behavior classifier를 실행하도록 역할을 분리할 수 있다. 이번 주에는 전체 behavior classifier보다 motion-triggered recording과 trajectory review까지 구현한다. confidence가 낮거나 tracking이 끊긴 event만 사람이 검토하도록 review queue를 만들면 장시간 영상 수집과 labeling automation을 하나의 pipeline으로 연결할 수 있다.

Sources