Junu's Lab
LAB ONLINE Focus Computer Vision / ML / Animal Behavior
Weekly Lab Brief

Animal Behaviour Analysis Weekly Brief — 2026.08.03.

Completed
Type
weekly-brief
Date
Aug 03, 2026
Domain
Methods
Research tracking routine
Selected for review:

Animal Behaviour Analysis Weekly Research Briefing

기준일: 2026년 8월 3일
 우선 조사 기간: 2026년 7월 20일~8월 3일
 분야: Animal Behaviour Analysis / Computational Ethology / Animal Pose Estimation / Animal Behavior Recognition
이번 주 핵심: 이번 주에는 행동을 이미 정의된 class로 분류하는 연구보다, pose sequence로부터 미래 행동을 생성·예측하는 animal behavior forecasting 흐름이 중요했습니다. 가장 우선해서 볼 논문은 Agent-Centric Animal Pose Forecasting 입니다. 여러 동물의 사회적 행동을 중앙집중식 group model이 아니라, 각 개체가 자기 시점에서 주변을 감지하고 움직임을 생성하는 방식으로 모델링합니다. ( arXiv )

1. 이번 주 한눈에 보기

  • 2026년 7월 21일 공개된 Agent-Centric Animal Pose Forecasting 은 tracked pose에서 미래 pose와 행동을 autoregressive하게 생성하는 framework를 제안했습니다. 단일 개체뿐 아니라, 여러 개체가 서로를 감지하고 반응하는 social behavior까지 모델링합니다. ( arXiv )
  • 모델은 world-coordinate의 전체 상태를 그대로 입력받지 않습니다. 각 개체의 위치와 방향을 기준으로 변환한 egocentric sensory observation 을 입력하고, 다음 순간의 egocentric movement 를 출력합니다. ( arXiv )
  • 저자들은 Python·PyTorch 기반 AnimalPoseForecasting library도 공개했습니다. world-frame pose, agent-centric pose, sensory feature, discretized token 사이의 변환을 composable·invertible operation으로 관리합니다. 다만 공식 README가 아직 “under construction”이라고 명시하는 초기 repo입니다. ( GitHub )
  • 2026년 7월 24일 공개된 tracking-summary 비교 preprint는 단순 trajectory aggregation부터 Keypoint-MoSeq 기반 unsupervised segmentation까지 여러 행동 표현 방식을 비교합니다. 복잡한 모델을 사용하기 전에 단순 feature baseline을 검증해야 한다는 점에서 중요합니다. ( bioRxiv )
  • 도구 측면에서는 Neuroinformatics Unit의 movement , poseinterface , ethology repo가 2026년 8월 1~2일까지 활발하게 업데이트되었습니다. 특히 movement 는 DLC·SLEAP 등에서 생성한 pose track을 통합적으로 정제·시각화·정량화하는 도구입니다. ( GitHub )

Labeling 자동화 / 데이터 강화 관점에서 중요한 점

이번 주 핵심 논문은 직접적인 active learning이나 pseudo-labeling 방법을 제안하지 않습니다. 대신 다음과 같은 데이터 활용 방향이 중요합니다.
  1. 이미 추적된 대규모 pose sequence를 별도 행동 label 없이 forecasting model 학습에 활용
  2. continuous pose를 discretized token으로 변환해 transformer 계열 모델에서 학습
  3. 생성된 행동 sequence와 실제 sequence의 통계 분포를 비교해 모델 품질 평가
  4. 예측 오차가 큰 구간을 추후 annotation 우선 대상으로 활용
  5. pose framework 간 입출력 형식을 통합해 labeling·tracking 결과 재사용성 향상

이번 주 반드시 볼 자료

Agent-Centric Animal Pose Forecasting 사용자의 장기 목표인 pose estimation → behavior classification → behavior prediction 중 세 번째 단계인 behavior prediction 을 직접 다룹니다. 단순히 행동 label을 맞히는 것이 아니라, 주어진 과거 pose와 주변 개체 정보로부터 앞으로 어떤 움직임이 발생할지를 생성합니다.

2. 이번 주 핵심 트렌드

2.1 Animal Behavior Recognition에서 Behavior Forecasting으로 확장

  • 무엇이 바뀌었는가: 기존 행동 분석은 현재 구간을 walking, grooming, feeding 등으로 분류하는 데 집중했습니다. 이번 연구는 현재까지의 sensory·pose history를 바탕으로 미래 움직임 sequence 자체를 생성합니다.
  • 왜 중요한가: 행동 분류는 “무슨 행동인가”를 답하지만, forecasting은 “다음에 무엇을 할 것인가”를 모델링합니다.
  • Animal Behaviour Analysis 연결: 행동 전환 예측, 위험 행동 조기 탐지, social interaction 예측, 이상 행동 감지로 확장할 수 있습니다.
  • 내가 지금 신경 써야 하는가: High
  • 신뢰도: arXiv preprint. peer-reviewed 결과는 아닙니다. ( arXiv )

2.2 Multi-animal behavior를 중앙집중식 group model보다 agent-centric하게 모델링

  • 무엇이 바뀌었는가: 모든 개체의 pose를 하나의 global tensor로 입력하는 대신, 각 개체가 자신을 기준으로 주변 개체와 환경을 관찰하도록 변환합니다.
  • 왜 중요한가: 실제 동물은 world-coordinate 전체를 아는 것이 아니라, 자신의 시야·촉각·상대 위치를 기반으로 반응합니다.
  • Animal Behaviour Analysis 연결: courting, following, chasing, avoidance 같은 interaction을 개체별 sensory-to-motor mapping으로 해석할 수 있습니다.
  • 내가 지금 신경 써야 하는가: High

2.3 Pose sequence를 token처럼 다루는 연구 증가

  • 무엇이 바뀌었는가: continuous keypoint movement를 그대로 regression하거나, 움직임 값을 discrete bin으로 나눠 token classification 문제로 변환하는 방식이 비교됩니다.
  • 왜 중요한가: transformer는 discrete token prediction에 강하지만, pose는 continuous하고 multidimensional합니다. 어떤 representation을 선택하느냐가 모델 안정성과 rollout 품질을 좌우합니다.
  • Animal Behaviour Analysis 연결: keypoint sequence를 language-like token sequence로 바꿔 MAE, transformer, autoregressive model에 적용할 수 있습니다.
  • 내가 지금 신경 써야 하는가: High
  • 논문은 continuous regression, discrete binning, static pose prediction, velocity prediction 등을 비교합니다. ( arXiv )

2.4 단순 trajectory feature와 복잡한 unsupervised representation의 비교 필요

  • 무엇이 바뀌었는가: 최근 tracking-summary 비교 연구는 parametric aggregation과 Keypoint-MoSeq 같은 unsupervised segmentation을 동일한 downstream discrimination 문제에서 평가합니다.
  • 왜 중요한가: 복잡한 sequence model이 항상 단순 속도·거리·영역 점유 feature보다 좋은 것은 아닙니다.
  • Animal Behaviour Analysis 연결: BMOD 프로젝트에서도 먼저 trajectory baseline을 만들고, 이후 pose sequence model을 추가해야 성능 향상의 원인을 해석할 수 있습니다.
  • 내가 지금 신경 써야 하는가: High ( bioRxiv )

2.5 Pose 결과를 분석하는 공통 data layer가 중요해짐

  • 무엇이 바뀌었는가: movement 는 DeepLabCut과 SLEAP 등 여러 pose framework의 track을 공통 interface에서 cleaning, visualization, motion quantification할 수 있도록 설계되었습니다.
  • 왜 중요한가: pose model을 바꿀 때마다 분석 코드를 다시 작성하면 실험 비교가 어려워집니다.
  • Animal Behaviour Analysis 연결: 여러 pose model의 결과를 동일한 feature extraction과 behavior classifier로 비교하는 데 사용할 수 있습니다.
  • 내가 지금 신경 써야 하는가: High
  • movement repo는 2026년 8월 2일까지 업데이트되었고, poseinterface 와 ethology 도 8월 1일까지 업데이트되었습니다. ( GitHub )

3. 추천 논문 1~2편

3.1 Agent-Centric Animal Pose Forecasting

핵심 문제

동물 행동을 단순 class label로 분류하는 것을 넘어, 동물이 현재 무엇을 보고 있고 과거에 어떻게 움직였는지를 바탕으로 다음 행동과 pose를 생성하는 문제가 필요합니다. 특히 multi-animal 상황에서는 각 개체가 다른 개체의 움직임에 반응하므로, 여러 개체의 행동을 동시에 모델링해야 합니다.

핵심 아이디어

각 동물을 하나의 독립된 agent로 간주합니다. 각 agent는 다음을 수행합니다.
  1. 자신의 위치와 방향을 기준으로 환경을 관찰
  2. 주변 개체와 arena에 대한 sensory feature 생성
  3. 과거 pose와 sensory history 입력
  4. 다음 순간의 움직임 예측
  5. 예측 움직임을 world coordinate로 되돌림
  6. 변경된 환경에서 sensory input을 다시 계산
  7. autoregressive하게 다음 frame 반복 생성
Social behavior는 모든 개체를 하나의 중앙 model이 직접 제어해서 발생하는 것이 아니라, 각 개체가 서로를 감지하고 반응하는 과정에서 나타납니다. ( arXiv )

모델 구조: 입력–처리–출력

입력

  • 과거 tracked keypoint sequence
  • 각 개체의 위치와 orientation
  • arena boundary
  • 주변 개체의 상대 위치
  • vision·touch를 근사한 handcrafted sensory feature

처리

  1. world-frame keypoint를 agent-centric coordinate로 변환
  2. pose와 주변 환경에서 sensory representation 생성
  3. velocity 또는 pose 값을 normalization
  4. continuous 값을 그대로 사용하거나 discrete bin으로 token화
  5. transformer 기반 autoregressive model에 temporal context 입력
  6. 다음 pose 또는 velocity 예측
  7. 예측을 다시 world frame으로 변환
  8. 다른 개체와 환경 상태를 갱신한 뒤 다음 step 반복

출력

  • 다음 frame의 keypoint 또는 velocity
  • 여러 frame에 걸친 future pose rollout
  • multi-agent simulated behavior
  • 실제 행동과 생성 행동의 feature distribution 비교 결과

입력 데이터

주요 실험은 courting Drosophila group의 multi-animal pose trajectory를 사용합니다. 각 male fly의 움직임을 simulation하고, female fly의 움직임은 실제 trajectory로 유지하는 실험도 포함됩니다. supplementary video에는 실제 fly trajectory와 model simulation이 제공됩니다. ( Figshare )

기존 방법과의 차이

일반 trajectory forecasting은 전체 scene의 정보를 하나의 model에 입력하거나, graph·attention으로 모든 agent 관계를 직접 모델링합니다. 이 논문은 다음 차이가 있습니다.
  • 각 agent가 자신의 egocentric coordinate를 사용
  • 입력 정보를 실제 동물이 감지할 수 있는 sensory feature로 제한
  • 출력도 agent 자신의 movement coordinate로 정의
  • social interaction은 중앙 control 없이 agent 간 반응으로 생성
  • pose representation 변환 과정을 composable·invertible operation으로 관리

실험한 주요 model variant

논문과 repo는 다음 variant를 비교합니다.
  • agent-centric vs world-centric representation
  • handcrafted pose feature vs raw keypoint
  • continuous regression vs discretized movement
  • next pose prediction vs velocity prediction
  • 긴 temporal context vs 짧은 temporal context
  • body-centric keypoint representation
논문은 handcrafted angle decomposition 없이 keypoint coordinate velocity만으로도 유사한 성능을 낼 수 있다 는 관찰을 보고합니다. ( arXiv )

성능 또는 주요 결과

저자들은 생성된 fly behavior가 실제 social behavior의 분포를 여러 scale에서 재현한다고 보고합니다. 평가는 단순 미래 좌표 오차만 보는 것이 아니라 다음을 포함합니다.
  • 실제·생성 trajectory의 feature distribution 비교
  • real-vs-simulated discriminator
  • behavior pattern frequency
  • model internal representation에 대한 linear probe
  • 실험 조건별 행동 차이 재현 여부
다만 아직 preprint이며, 새로운 species와 촬영 조건에서 독립적으로 재현된 결과는 없습니다. ( arXiv )

한계점

  • Drosophila 중심으로 검증
  • sensory feature가 일부 handcrafted
  • pose tracking error가 forecasting error로 누적될 수 있음
  • autoregressive rollout에서 장기 drift 발생 가능
  • 행동 class를 직접 출력하지 않음
  • 행동 label automation보다는 행동 생성 모델에 가까움
  • repo documentation이 아직 미완성
  • 실제 학습 환경과 dataset 준비가 복잡함

내 관심사와의 연결

매우 높음 사용자의 장기 연구 방향은 다음과 같습니다. 동물 영상 → pose estimation → behavior classification → behavior prediction 이 논문은 마지막 단계인 behavior prediction을 직접 다룹니다. 또한 keypoint sequence, trajectory, multi-animal interaction, long-horizon modeling과 모두 연결됩니다.

읽기 우선순위

High

읽을 때 집중할 부분

  1. world-frame과 agent-centric frame의 차이
  2. sensory feature 정의
  3. pose가 아니라 velocity를 예측하는 이유
  4. discretization 방식
  5. teacher forcing과 autoregressive rollout 차이
  6. rollout error 누적 처리
  7. 생성 행동 평가 지표
  8. temporal context ablation
  9. 새로운 species에 필요한 operation 수정 범위

구현 난이도

어려움

현실적인 선행 학습

  • PyTorch Dataset/DataLoader
  • transformer encoder 또는 decoder 기본 구조
  • autoregressive sequence modeling
  • teacher forcing
  • coordinate normalization
  • local/global coordinate transformation
  • velocity 계산과 cumulative sum
  • multi-agent data representation

포트폴리오 또는 연구실 지원 포인트

Agent-Centric Animal Pose Forecasting을 분석하고, 동물의 과거 trajectory를 local coordinate로 변환한 뒤 다음 위치를 예측하는 경량 autoregressive baseline을 구현했습니다. 이후 다른 개체의 상대 위치를 추가해 social interaction forecasting으로 확장했습니다.

3.2 Comparison of Multiple Video Tracking-Based Behavioral Summary Approaches for Compound Discrimination

핵심 문제

동물 tracking data를 얻은 뒤 이를 어떤 representation으로 요약해야 실험 조건이나 compound 차이를 가장 잘 구분할 수 있는지 명확하지 않습니다. 복잡한 unsupervised behavior segmentation이 단순 trajectory statistics보다 항상 유리한지 검증할 필요가 있습니다.

핵심 아이디어

같은 video tracking 결과에 여러 summary 방법을 적용하고 downstream compound discrimination 성능을 비교합니다. 비교 대상에는 다음이 포함됩니다.
  • predefined trajectory statistics
  • 시간 단위 feature aggregation
  • state 또는 motif frequency
  • Keypoint-MoSeq 기반 unsupervised behavioral syllable
  • 기타 tracking-derived summary representation

모델 구조: 입력–처리–출력

입력

  • video에서 추출한 animal track
  • pose 또는 trajectory time series
  • 실험 조건 또는 compound label

처리

  1. tracking 결과 정제
  2. 속도·거리·영역 점유 등의 parametric feature 생성
  3. 또는 unsupervised segmentation으로 behavior state 발견
  4. 개체별 summary vector 생성
  5. condition/compound classifier 학습
  6. representation별 discrimination 성능 비교

출력

  • 행동 summary feature
  • discovered behavior state
  • condition classification 성능
  • representation complexity와 해석 가능성 비교

기존 방법과의 차이

새로운 단일 SOTA 모델을 제안하기보다, 실제 연구자가 tracking data를 어떤 형태로 요약해야 하는지를 비교합니다.

한계점

  • 특정 compound discrimination 실험에 의존
  • 다른 species와 행동 taxonomy에 그대로 일반화되지 않을 수 있음
  • preprint
  • 세부 결과는 full paper table과 method를 직접 확인해야 함

내 관심사와의 연결

높음 Duck 프로젝트에서 다음 세 접근을 비교하는 근거가 됩니다.
  1. CLIP appearance embedding
  2. 단순 trajectory feature
  3. keypoint sequence 기반 unsupervised state

읽기 우선순위

High

읽을 때 집중할 부분

  1. trajectory preprocessing
  2. summary feature 목록
  3. Keypoint-MoSeq 설정
  4. train/test split 기준
  5. 개체 단위 leakage 방지
  6. class imbalance
  7. 단순 feature와 unsupervised state의 성능 차이
  8. 해석 가능성 비교

구현 난이도

  • 단순 trajectory baseline: 쉬움
  • Keypoint-MoSeq 적용: 보통~어려움
  • 전체 논문 재현: 어려움

포트폴리오 포인트

동일한 동물 tracking sequence를 parametric trajectory feature와 unsupervised behavior state로 각각 표현하고, 행동 조건 분류 성능과 해석 가능성을 비교했습니다.

4. 추천 GitHub repo / tool

4.1 AnimalPoseForecasting

  • 이름: Animal Pose Forecasting Library
  • 링크: https://github.com/kristinbranson/AnimalPoseForecasting
  • 무엇을 하는가: tracked pose에서 agent-centric autoregressive animal behavior model을 학습·simulation·평가합니다.
  • 최근 업데이트 여부: 2026년 7월 논문과 함께 공개된 신규 repo입니다.
  • 구현 언어: Python, PyTorch
  • 연구적으로 중요한 이유: world-frame, egocentric, sensory, ML-friendly representation 사이의 변환을 operation object로 관리합니다. 각 operation은 composition, inversion, serialization이 가능하도록 설계되었습니다. ( GitHub )
  • Animal Behaviour Analysis 적용 가능성: High
  • 설치/실행 난이도: 어려움
  • 내가 당장 실험해볼 수 있는 부분:
    • README의 model variant flow 비교
    • global pose → local pose 변환 코드 확인
    • velocity operation 확인
    • notebook에서 단일 animal trajectory 변환
    • pretrained 학습보다 RatInABox 예제 구조 분석
  • 주의할 점:
    • README가 under construction 상태
    • 공식 release 없음
    • 별도 dataset 준비 필요
    • 6 stars, 0 forks 수준의 초기 repo
    • 전체 fly model 재현보다 operation 구조부터 보는 것이 적절함 ( GitHub )

4.2 movement

  • 이름: movement
  • 링크: https://github.com/neuroinformatics-unit/movement
  • 문서: https://movement.neuroinformatics.dev
  • 무엇을 하는가: DeepLabCut, SLEAP 등에서 생성한 동물 motion track을 정리·분석·시각화하는 Python toolbox입니다.
  • 최근 업데이트 여부: 2026년 8월 2일까지 업데이트되었습니다. ( GitHub )
  • 연구적으로 중요한 이유: pose framework에 종속되지 않는 공통 motion-analysis layer를 제공합니다.
  • Animal Behaviour Analysis 적용 가능성: High
  • 설치/실행 난이도: 쉬움~보통
  • 설치 예시: 
conda create -n movement-env -c conda-forge movement napari pyqt6
conda activate movement-env
  • 내가 당장 실험해볼 수 있는 부분:
    • pose track 로드
    • missing keypoint 확인
    • confidence 기반 filtering
    • trajectory visualization
    • velocity와 movement range 계산
    • 여러 영상의 coordinate normalization
  • 주의할 점: 행동 class를 자동 생성하는 tool은 아닙니다. pose 결과를 downstream 분석에 사용하기 좋게 정리하는 도구입니다. ( GitHub )

4.3 poseinterface / ethology

  • poseinterface: https://github.com/neuroinformatics-unit/poseinterface
  • ethology: https://github.com/neuroinformatics-unit/ethology
  • 무엇을 하는가:
    • poseinterface : 여러 framework에서 pose estimation을 실행하기 위한 공통 interface
    • ethology : animal behavior analysis용 computer-vision component를 조합하는 framework
  • 최근 업데이트 여부: 두 repo 모두 2026년 8월 1일까지 업데이트되었습니다. ( GitHub )
  • 연구적으로 중요한 이유: pose 모델과 downstream analysis를 loose coupling 구조로 분리할 수 있습니다.
  • Animal Behaviour Analysis 적용 가능성: Medium~High
  • 설치/실행 난이도: 보통
  • 내가 당장 실험해볼 수 있는 부분: BMOD pipeline을 video input → pose backend → common output → behavior module 구조로 나누는 architecture 참고
  • 주의할 점: 아직 생태계가 비교적 초기 단계이며, 모든 pose framework가 동일 수준으로 지원되는지 확인해야 합니다.

5. 이번 주 미니프로젝트 제안

프로젝트 제목

Agent-Centric Duck Trajectory Forecasting Baseline

목표

과거 2~3초의 duck trajectory를 입력받아 다음 1초의 이동 경로를 예측하는 간단한 autoregressive model을 구현합니다. 전체 keypoint forecasting이 아니라 bounding-box center 또는 centroid로 시작합니다.

배경

Agent-Centric Animal Pose Forecasting의 전체 구조는 복잡하지만, 핵심 아이디어는 작게 재현할 수 있습니다. 핵심은 다음입니다.
  • global coordinate 대신 animal-centered coordinate 사용
  • 현재 방향을 기준으로 trajectory 회전
  • position 대신 velocity 예측
  • 한 step씩 autoregressive rollout
  • 실제 trajectory와 생성 trajectory 비교

사용할 데이터 또는 대체 데이터

우선순위:
  1. 현재 Duck 영상의 bounding-box trajectory
  2. YOLO + ByteTrack으로 생성한 duck centroid
  3. 기존 BMOD segment
  4. 대체 데이터로 RatInABox synthetic trajectory
  5. 단순하게 직접 생성한 2D random-walk trajectory

사용할 모델/tool/repo

  • Python
  • NumPy
  • pandas
  • PyTorch
  • scikit-learn baseline
  • 선택적으로 movement
  • 참고 repo: AnimalPoseForecasting

최소 구현 범위

  1. 각 frame에서 중심 좌표 (x, y) 준비
  2. 좌표를 frame width·height로 정규화
  3. position을 velocity로 변환
  4. 과거 20 frame을 입력 sequence로 생성
  5. 다음 5 frame velocity를 예측
  6. 작은 GRU 또는 LSTM 학습
  7. predicted velocity를 cumulative sum해 trajectory 복원
  8. ADE와 FDE 계산
  9. 실제·예측 trajectory 시각화

권장 baseline

Baseline 1: Constant Velocity

마지막 velocity가 계속 유지된다고 가정합니다.

Baseline 2: Linear Regression

과거 여러 frame의 속도로 다음 위치를 예측합니다.

Baseline 3: GRU

과거 velocity sequence로 다음 velocity를 autoregressive하게 예측합니다.

확장 구현 범위

  • animal heading을 추정해 local coordinate로 회전
  • feeding area·water area의 상대 위치를 sensory input으로 추가
  • 두 번째 duck의 상대 위치 추가
  • behavior label을 context feature로 추가
  • multiple plausible future를 sampling
  • prediction error가 높은 구간을 annotation queue로 전송
  • resting·feeding·exploring별 forecasting error 비교

예상 산출물

  • Notion 연구 정리
  • Velog 글
  • GitHub README
  • Jupyter notebook
  • 실제·예측 trajectory plot
  • ADE/FDE 비교표
  • autoregressive rollout GIF
  • 오류 segment 분석

포트폴리오에 남길 수 있는 한 줄 설명

동물의 과거 tracking trajectory를 agent-centric velocity sequence로 변환하고 GRU 기반 autoregressive model로 미래 경로를 예측하여, constant-velocity baseline과 비교했습니다.

예상 소요 시간

8~12시간

실패 가능성이 높은 부분

  • trajectory가 짧거나 noisy함
  • camera motion이 포함됨
  • velocity 값이 불안정함
  • 미래 trajectory가 여러 가지라 MSE 예측이 평균 경로로 수렴함
  • train/test segment가 같은 원본 영상에서 나와 leakage 발생
  • GRU가 constant-velocity baseline보다 성능이 낮을 수 있음

실패했을 때 대체 목표

딥러닝 모델을 포기하고 다음까지만 완료합니다.
  1. constant velocity
  2. moving average
  3. linear regression
  4. local coordinate 변환 전후 비교
딥러닝이 baseline을 이기지 못한 이유를 분석하는 것만으로도 연구적 가치가 있습니다.

6. 이번 주 읽기 루틴

1회독: 전체 문제만 이해

Agent-Centric Animal Pose Forecasting에서 다음만 확인합니다.
  • Figure 1
  • abstract
  • contribution 세 가지
  • agent-centric 의미
  • 입력과 출력
  • Drosophila experiment
  • model variant 이름
  • Discussion
이 단계에서는 수식과 operation 세부 구현을 건너뜁니다.

2회독: 모델 구조에서 볼 부분

  • world coordinate → egocentric coordinate
  • sensory operation
  • global pose와 local pose
  • velocity representation
  • discretization
  • transformer backbone
  • teacher forcing
  • autoregressive rollout
  • inverse operation
  • 평가 지표
특히 다음 flow를 직접 그려보는 것이 좋습니다. 
World-frame keypoints
        ↓
Agent-centric transformation
        ↓
Sensory + pose history
        ↓
Transformer
        ↓
Next-step local velocity
        ↓
Inverse transformation
        ↓
Updated world-frame pose
        ↓
Repeat

3회독: 내 프로젝트 아이디어로 연결

다음 질문을 Duck 프로젝트에 적용합니다.
  • duck의 heading을 어떻게 정의할 것인가?
  • keypoint가 없으면 bounding-box trajectory로 시작할 수 있는가?
  • feeding area를 sensory input으로 표현할 수 있는가?
  • behavior class별로 forecasting model을 따로 만들 것인가?
  • prediction error가 행동 전환점에서 커지는가?
  • large error segment를 active labeling 대상으로 사용할 수 있는가?

정리할 질문 3개

  1. world-coordinate 예측보다 agent-centric coordinate 예측이 cross-video generalization에 유리한 이유는 무엇인가?
  2. 미래 pose를 직접 예측하는 것과 velocity를 예측한 뒤 적분하는 것은 어떤 차이가 있는가?
  3. 하나의 deterministic future를 예측하는 model로 여러 가능한 animal behavior를 표현할 수 있는가?

7. 다음 주 Watchlist

추적 키워드 5개

  1. agent-centric animal behavior forecasting
  2. autoregressive animal pose prediction
  3. generative model computational ethology
  4. multi-animal social behavior simulation
  5. uncertainty-based animal trajectory annotation

추적할 repo/tool 3개

  1. AnimalPoseForecasting
  2. movement
  3. poseinterface / ethology

다음 주에 다시 확인할 open question 3개

  1. AnimalPoseForecasting repo에 installation guide, dataset download, pretrained checkpoint가 추가되는가?
  2. forecasting error를 behavior transition detection이나 active labeling에 사용할 수 있는가?
  3. trajectory forecasting model이 다른 species와 camera setup으로 일반화되는가?

Notion / Velog / 포트폴리오 게시용 자료

제목

동물 행동을 분류하는 것을 넘어 예측하기: Agent-Centric Animal Pose Forecasting

요약문

이번 주 computational ethology에서 가장 중요한 연구는 Agent-Centric Animal Pose Forecasting이다. 이 연구는 과거 pose sequence를 이용해 미래 움직임을 autoregressive하게 생성한다. 각 동물은 world-coordinate 전체를 입력받는 것이 아니라, 자신의 위치와 방향을 기준으로 주변 환경과 다른 개체를 감지한다. 모델은 egocentric sensory observation과 과거 움직임을 입력받아 다음 local movement를 출력하고, 이를 world-coordinate로 변환한 뒤 다음 step을 반복한다. 이번 주 미니프로젝트에서는 전체 fly social-behavior model을 재현하는 대신, duck의 centroid trajectory를 velocity sequence로 변환해 다음 1초의 이동 경로를 예측하는 GRU baseline을 구현한다.

태그

#AnimalBehaviourAnalysis#ComputationalEthology#AnimalPoseEstimation#BehaviorForecasting#TrajectoryPrediction#MultiAnimalBehavior#KeypointSequence#AutoregressiveModel#PyTorch#AnimalPoseForecasting

GitHub README 초안

# Agent-Centric Animal Trajectory Forecasting

## Overview

This project implements a lightweight autoregressive forecasting model for animal trajectories.

The project is inspired by *Agent-Centric Animal Pose Forecasting*, which models each animal as an independent agent that observes its surroundings and predicts movements in its own egocentric coordinate system.

## Research Question

Does an agent-centric velocity representation improve short-term animal trajectory forecasting compared with world-coordinate position prediction?

## Pipeline

1.Extract animal trajectories from video.
2.Normalize coordinates by frame size.
3.Convert positions to velocities.
4.Transform trajectories into an agent-centric coordinate system.
5.Use past motion as model input.
6.Predict future velocities autoregressively.
7.Recover future positions using cumulative sums.
8.Compare predictions with the ground truth.

## Baselines

-Constant velocity
-Moving average velocity
-Linear regression
-GRU trajectory forecaster

## Input

-Past trajectory: 20 frames
-Features:
  -x velocity
  -y velocity
  -speed
  -heading
  -optional environmental context

## Output

-Future trajectory: 5 frames

## Evaluation

-Average Displacement Error
-Final Displacement Error
-Per-behavior forecasting error
-Rollout stability

## Expected Outputs

-trajectory preprocessing notebook
-model training code
-baseline comparison table
-prediction plots
-autoregressive rollout GIF
-error analysis

## Extensions

-social context from another animal
-feeding and water-zone context
-probabilistic future prediction
-uncertainty-based labeling queue
-full keypoint pose forecasting

## Portfolio Statement

Built an agent-centric autoregressive model that forecasts future animal trajectories from tracked motion and compared it against constant-velocity and linear baselines.

간결한 블로그 초안

동물 행동을 분류하는 것에서 예측하는 것으로

동물 행동 분석 연구에서는 일반적으로 영상의 특정 구간을 feeding, grooming, resting과 같은 행동 class로 분류한다. 하지만 실제 동물 행동을 이해하려면 현재 행동뿐 아니라 다음에 어떤 움직임이 나타날지도 모델링해야 한다. 최근 공개된 Agent-Centric Animal Pose Forecasting은 tracked pose에서 미래 행동을 생성하는 framework를 제안한다. 이 연구에서 각 동물은 독립적인 agent다. 모델은 전체 arena의 절대 좌표를 직접 입력받지 않고, 각 동물의 위치와 방향을 기준으로 변환된 sensory observation을 사용한다. 예를 들어 한 동물이 다른 동물과 얼마나 떨어져 있는지, 어느 방향에 위치하는지, arena boundary가 어느 방향에 있는지를 자신의 시점에서 표현한다. 이후 transformer는 과거 sensory·pose sequence를 입력받아 다음 순간의 movement를 예측한다. 예측된 movement는 다시 world-coordinate로 변환된다. 모든 agent의 위치가 갱신되면 새로운 sensory observation이 계산되고, 같은 과정이 반복된다. 따라서 social behavior는 하나의 중앙 model이 여러 동물을 직접 제어해서 발생하는 것이 아니라, 각 agent가 서로를 감지하고 반응하는 과정에서 나타난다. 이 연구는 사용자의 장기 목표인 pose estimation → behavior classification → behavior prediction 에서 마지막 단계를 직접 다룬다. 하지만 전체 model은 Drosophila multi-animal pose, sensory operation, coordinate transformation, transformer rollout을 포함해 구현 난이도가 높다. 따라서 첫 실험은 centroid trajectory forecasting으로 축소하는 것이 적절하다. Duck 영상에서 bounding-box center를 추출하고, position을 velocity로 변환한다. 과거 20 frame의 velocity를 GRU에 입력해 다음 5 frame의 움직임을 예측한다. 가장 중요한 것은 GRU만 학습하는 것이 아니다. constant-velocity baseline과 비교해야 한다. 단순 baseline보다 성능이 낮다면, 현재 데이터에서는 복잡한 sequence model이 필요하지 않다는 의미일 수 있다. 향후에는 feeding area의 상대 위치나 다른 개체의 위치를 sensory input으로 추가할 수 있다. 예측 오차가 급격히 증가하는 구간을 행동 전환 후보로 간주하거나, 사람이 우선 확인해야 할 annotation 구간으로 선택하는 것도 가능하다.

주요 출처