새연님의 블로그

ForenShield — 백엔드에서 구현한 것ForenShield 백엔드(backend-forensic)에서 코드로 붙인 기능을 중심으로 정리한 노트다. Spring Boot 쪽이고, AI GPU Worker와는 RabbitMQ·S3·결과 JSON으로 연결된다.1. AI 분석 연동프론트가 AI를 오래 붙잡지 않도록, 백엔드가 접수 → 큐 → 결과 저장 → 조회를 맡는다.접수와 큐분석 요청이 오면 영상·메타를 S3에 두고 RabbitMQ로 GPU job을 보낸다. 추론을 동기적으로 끝까지 돌리는 게 아니라, 일을 넘기고 상태를 관리하는 쪽에 가깝다. 분석용 사본을 만들고 원본과 SHA-256을 맞춰 본 뒤 큐에 넣고, 끝나면 사본을 지우는 흐름도 custody 로그와 같이 간다.진행률AI가 IN_PROGR..

[학습 노트] 최종 발표 FAQForenShield는 영상·이미지 위변조 분석과 증거 관리를 위한 딥페이크·디지털 포렌식 플랫폼이다. SK쉴더스 Rookies 개발 5기 최종 프로젝트로, Late Fusion·분석 결과 연동·soft-gate·오버레이 시각화 쪽을 중심으로 작업했다. 발표 전에 나올 법한 질문을 모아 두고, 짧게 답만 적어 둔 노트다.1. 화면의 히트맵(붉은 영역)은 뭔가?초안에는 히트맵이랑 오버레이를 같이 쓰려고 했다. 그런데 히트맵은 대표 프레임 이미지만 나와서 영상 따라보기엔 불편했다. 그래서 히트맵은 빼고, 오버레이에 의심 구간이랑 영역을 붉게 표시하는 쪽으로 정리했다. 지금 화면의 붉은 부분은 그 오버레이다. Grad-CAM처럼 모델 내부 기여도 맵이라고 보진 않고, 탐지·로컬라..

딥페이크 탐지 Late Fusion 설계와 점수 안정화이 글은 부트캠프 최종 프로젝트 ForenShield에서, 여러 딥페이크·위변조 탐지 모델의 점수를 late fusion으로 합치고 안정화한 과정을 정리한 기술 회고다.프로젝트와 동작 원리ForenShield는 영상·이미지 위변조 분석과 증거 관리를 위한 딥페이크·디지털 포렌식 플랫폼이다. 나는 AI 딥페이크 탐지와 백엔드 연동을 중심으로 담당했고, 분석 결과가 서비스에 남도록 연결하는 쪽까지 작업했다.단일 모델만 쓰면 특정 변조 유형에는 강하고 다른 유형에는 약해질 수 있다. 그래서 역할을 나눈 모델들을 쓰고, 각 모델의 점수를 나중에 합치는 late fusion 구조를 택했다. 얼굴 단위 CNN 탐지에는 Xception을, 시간축 정보는 TimeS..

딥페이크 분석 결과의 서비스 연동과 Soft-gate 처리이 글은 ForenShield에서 GPU 추론 결과를 큐·API·화면까지 연결하고, 얼굴 없음 같은 상황을 soft-gate로 처리한 과정을 정리한 기술 회고다.프로젝트와 동작 원리ForenShield는 분석 요청이 들어오면 AI 서버가 영상을 받아 추론하고, 결과를 백엔드에 남겨 프론트에서 보게 하는 구조다. 나는 AI 탐지뿐 아니라 RabbitMQ·S3를 통한 GPU 작업 전달, 분석 결과 API, Recovery Score·CoC 검증 연동, 화면에서 점수와 안내가 맞게 보이도록 하는 쪽까지 작업했다.원리는 단순해 보인다. 추론이 끝나면 결과를 저장하고 조회하면 된다. 실제로는 분석이 길어서 중간 진행률이 필요하고, overlay 같은 부가 ..

실시간 경매 마감 처리와 동시성·트랜잭션 개선이 글은 부트캠프 3차 미니 프로젝트 MACTA 백엔드에서, 마감 직전 입찰 충돌과 종료 스케줄러·알림 경로를 어떻게 다듬었는지 정리한 기술 회고다. 팀장을 맡아 ERD·API 명세와 작업 기준을 맞추는 일도 함께 진행했다.프로젝트와 동작 원리MACTA는 트래픽과 보안 위협을 고려한 실시간 경매 플랫폼이다. 백엔드는 상품·입찰·결제·알림·스케줄러가 한 상태로 맞물린다. 입찰이 들어오면 최고가와 이력이 갱신되고, 마감 시각이 되면 스케줄러가 종료 처리를 하며, 그 과정에서 알림과 결제 검증이 이어진다.동시성의 핵심은 “한 건씩 순서대로만 오면 된다”가 성립하지 않는다는 점이다. 마감 직전에는 요청이 겹친다. 같은 순간에 두 입찰이 들어오거나, 종료 처리와 입찰이..

데이터 부족 환경에서의 LSTM 진행 예측이 글은 현장실습에서 실측 시계열이 거의 없는 상태로 진행 예측을 붙이려 했을 때, LSTM을 어떻게 다뤘는지 정리한 기술 회고다. Segmentation·라벨링·규칙 엔진 본편은 별도 글로 분리해 두었고, 여기에서는 시계열·LSTM 쪽만 남긴다.프로젝트와 동작 원리파이프라인 후단에는 “지금 관측된 상태”뿐 아니라, 이후 어떻게 진행될지를 보조로 보는 구간이 있었다. 이미지·속성 쪽 모델이 fact를 뽑고 규칙 엔진이 해석한 뒤, 시계열이 있으면 LSTM으로 진행을 예측하는 흐름을 염두에 두었다.LSTM은 이전 시점의 상태를 기억해 다음 구간을 추정하는 시계열 모델이다. 다만 학습·검증이 되려면 시간 축이 있는 실측 시퀀스가 필요하다. 이번 구간의 병목도 모델 구..

Segmentation 모델 실험과 성능 개선이 글은 현장실습에서 MobileNetV2 + FPN 기반 Segmentation 모델을 반복 실험하며 성능을 올린 과정을 정리한 기술 회고다. 협업 과제의 기밀을 위해 탐지 대상의 구체 명칭은 적지 않고, 아키텍처·손실함수·데이터·후처리 측면에서 무엇을 바꿨는지만 남긴다.프로젝트와 동작 원리목표는 이미지에서 관심 영역을 픽셀 단위로 나누는 Segmentation 모델을 만들고, 그 결과를 후속 분석 파이프라인에 넘기는 것이었다. Backbone은 MobileNetV2, 구조는 FPN을 사용했다. 경량 encoder로 학습·추론 부담을 줄이면서, FPN으로 다중 스케일 특징을 쓰는 조합이었다. segmentation-models-pytorch로 ImageNet..

라벨링 도구 제작과 마스크 데이터 파이프라인이 글은 현장실습에서 Segmentation·후속 모델 학습을 위해 라벨링 도구와 마스크 데이터 파이프라인을 만든 과정을 정리한 기술 회고다. 외부와 협업한 과제였기 때문에, 무엇을 탐지했는지 같은 도메인 상세는 적지 않고, 어떤 도구와 데이터 흐름을 만들었는지만 남긴다.프로젝트와 필요성실습에서는 이미지 분할(Segmentation)과, 분할 결과를 입력으로 받는 후속 분석 모델을 함께 다뤘다. 학습을 돌리려면 픽셀 단위 마스크와, 필요 시 세부 속성 라벨이 있어야 했다. 문제는 바로 쓸 수 있는 Golden Set가 충분하지 않았다는 점이었다.그래서 라벨을 “수동으로 어떻게든 찍는 일”이 아니라, 반복 가능한 도구와 변환 스크립트 쪽으로 정리하기 시작했다. 목..

다중 모델 파이프라인과 규칙 기반 후속 추론이 글은 현장실습에서 Segmentation·분류 모델과 규칙 기반 엔진을 묶어, 이미지 입력부터 결과 리포트까지 이어지는 파이프라인을 만든 과정을 정리한 기술 회고다. 탐지 대상의 구체적 의미나 도메인 고유 규칙은 공개하지 않고, 시스템 구성과 기술 선택만 남긴다.프로젝트와 동작 원리단일 Segmentation 모델만으로 끝내기보다, 역할을 나눈 여러 모델의 출력을 모은 뒤 규칙으로 해석하는 구조를 택했다. 이미지가 들어오면 영역 분할·관련 속성 인식 등을 수행하고, 그 결과를 지식/규칙 테이블과 매칭해 후속 결론을 점수화하는 방식이었다.원리는 “딥러닝이 전부 판단한다”가 아니라, 딥러닝이 관측 가능한 특징을 뽑고, 도메인 규칙은 별도 엔진에서 다루는 쪽에 가..

객체 탐지 오탐 원인 분석 및 데이터·후처리 개선이 글은 졸업작품으로 진행한 객체 탐지 기반 위기 상황 감지 시스템에서, 칼(흉기) 오탐이 났던 원인과 그걸 어떻게 줄였는지를 정리한 기술 회고다.프로젝트와 동작 원리프로젝트는 CCTV 영상에서 사람과 칼을 찾아, 관리자가 빠르게 대응할 수 있게 만드는 시스템이었다. 탐지 모델은 YOLOv11을 썼고, 데이터셋은 Roboflow로 구축·관리했다. 흉기 기준은 팀에서 15cm 이상 칼로 정했다. 서버와 카메라 쪽은 WebSocket으로 연결했고, 흉기가 감지되면 경고가 뜨도록 구성했다.객체 탐지의 기본 원리는 단순하다. 모델이 프레임 안에서 객체의 위치와 클래스를 예측하고, 각 예측에 confidence를 붙인다. 그런데 학습 데이터에 많이 나온 시각 패턴과..