새연님의 블로그

[개발 일지] IT Trend Curator (v0.1)

v0.1 — IT Trend Curator방식: 바이브 코딩 (Vibe Coding) — Cursor + AI 어시스턴트와 협업하여 설계·구현·문서화를 진행1. 왜 이걸 구현했는가요즘 AI·백엔드 관련 기술이 빠르게 바뀌어서, 글로만 읽기보다 직접 만들어 보며 빠르게 익히고 싶었다.그래서 해외 IT 유튜브·아티클 링크를 넣으면 핵심을 요약·번역해 마크다운 초안까지 만들어 주는 IT Trend Curator를 제작했다.평소에도 관심 있는 영상을 모아두기만 하고 소화하지 못하는 경우가 많아서,직접 쓰는 도구로 만들면 학습과 실사용을 같이 가져갈 수 있다고 생각했다.2. 이번 버전에서 중점적으로 생각한 것MVP 파이프라인URL → 추출 → 요약/번역/마크다운 → 파일 저장까지 한 흐름으로 동작하게 구현했다.백..

[학습 노트] ForenShield 모델 원리

딥페이크·위변조 모델이 보는 것이 글은 부트캠프 최종 프로젝트 ForenShield에서 쓴 딥페이크·위변조 탐지 모듈이 각각 어떤 신호를 보는지 정리한 학습 노트다. Late Fusion으로 점수를 합치는 과정은 기술 회고로 따로 남겨 두었고, 여기서는 모듈·레인의 역할 구분에 초점을 둔다.프로젝트와 동작 원리ForenShield는 영상·이미지 위변조 분석과 증거 관리를 위한 딥페이크·디지털 포렌식 플랫폼이다. 나는 AI 딥페이크 탐지와 백엔드 연동을 중심으로 담당했고, 나온 점수를 Late Fusion에 넣어 서비스로 넘기는 쪽까지 작업했다. 학습·파인튜닝 파이프 전체를 혼자 돌렸다기보다, 각 모듈이 내는 점수의 의미를 맞춰 두는 일이 중요했다.점수를 합치는 이야기만 보면 “모델이 여러 개”로 끝나기 ..

ForenShield — 백엔드에서 구현한 것ForenShield 백엔드(backend-forensic)에서 코드로 붙인 기능을 중심으로 정리한 노트다. Spring Boot 쪽이고, AI GPU Worker와는 RabbitMQ·S3·결과 JSON으로 연결된다.1. AI 분석 연동프론트가 AI를 오래 붙잡지 않도록, 백엔드가 접수 → 큐 → 결과 저장 → 조회를 맡는다.접수와 큐분석 요청이 오면 영상·메타를 S3에 두고 RabbitMQ로 GPU job을 보낸다. 추론을 동기적으로 끝까지 돌리는 게 아니라, 일을 넘기고 상태를 관리하는 쪽에 가깝다. 분석용 사본을 만들고 원본과 SHA-256을 맞춰 본 뒤 큐에 넣고, 끝나면 사본을 지우는 흐름도 custody 로그와 같이 간다.진행률AI가 IN_PROGR..

[학습 노트] 최종 발표 FAQForenShield는 영상·이미지 위변조 분석과 증거 관리를 위한 딥페이크·디지털 포렌식 플랫폼이다. SK쉴더스 Rookies 개발 5기 최종 프로젝트로, Late Fusion·분석 결과 연동·soft-gate·오버레이 시각화 쪽을 중심으로 작업했다. 발표 전에 나올 법한 질문을 모아 두고, 짧게 답만 적어 둔 노트다.1. 화면의 히트맵(붉은 영역)은 뭔가?초안에는 히트맵이랑 오버레이를 같이 쓰려고 했다. 그런데 히트맵은 대표 프레임 이미지만 나와서 영상 따라보기엔 불편했다. 그래서 히트맵은 빼고, 오버레이에 의심 구간이랑 영역을 붉게 표시하는 쪽으로 정리했다. 지금 화면의 붉은 부분은 그 오버레이다. Grad-CAM처럼 모델 내부 기여도 맵이라고 보진 않고, 탐지·로컬라..

딥페이크 탐지 Late Fusion 설계와 점수 안정화이 글은 부트캠프 최종 프로젝트 ForenShield에서, 여러 딥페이크·위변조 탐지 모델의 점수를 late fusion으로 합치고 안정화한 과정을 정리한 기술 회고다.프로젝트와 동작 원리ForenShield는 영상·이미지 위변조 분석과 증거 관리를 위한 딥페이크·디지털 포렌식 플랫폼이다. 나는 AI 딥페이크 탐지와 백엔드 연동을 중심으로 담당했고, 분석 결과가 서비스에 남도록 연결하는 쪽까지 작업했다.단일 모델만 쓰면 특정 변조 유형에는 강하고 다른 유형에는 약해질 수 있다. 그래서 역할을 나눈 모델들을 쓰고, 각 모델의 점수를 나중에 합치는 late fusion 구조를 택했다. 얼굴 단위 CNN 탐지에는 Xception을, 시간축 정보는 TimeS..

딥페이크 분석 결과의 서비스 연동과 Soft-gate 처리이 글은 ForenShield에서 GPU 추론 결과를 큐·API·화면까지 연결하고, 얼굴 없음 같은 상황을 soft-gate로 처리한 과정을 정리한 기술 회고다.프로젝트와 동작 원리ForenShield는 분석 요청이 들어오면 AI 서버가 영상을 받아 추론하고, 결과를 백엔드에 남겨 프론트에서 보게 하는 구조다. 나는 AI 탐지뿐 아니라 RabbitMQ·S3를 통한 GPU 작업 전달, 분석 결과 API, Recovery Score·CoC 검증 연동, 화면에서 점수와 안내가 맞게 보이도록 하는 쪽까지 작업했다.원리는 단순해 보인다. 추론이 끝나면 결과를 저장하고 조회하면 된다. 실제로는 분석이 길어서 중간 진행률이 필요하고, overlay 같은 부가 ..

실시간 경매 마감 처리와 동시성·트랜잭션 개선이 글은 부트캠프 3차 미니 프로젝트 MACTA 백엔드에서, 마감 직전 입찰 충돌과 종료 스케줄러·알림 경로를 어떻게 다듬었는지 정리한 기술 회고다. 팀장을 맡아 ERD·API 명세와 작업 기준을 맞추는 일도 함께 진행했다.프로젝트와 동작 원리MACTA는 트래픽과 보안 위협을 고려한 실시간 경매 플랫폼이다. 백엔드는 상품·입찰·결제·알림·스케줄러가 한 상태로 맞물린다. 입찰이 들어오면 최고가와 이력이 갱신되고, 마감 시각이 되면 스케줄러가 종료 처리를 하며, 그 과정에서 알림과 결제 검증이 이어진다.동시성의 핵심은 “한 건씩 순서대로만 오면 된다”가 성립하지 않는다는 점이다. 마감 직전에는 요청이 겹친다. 같은 순간에 두 입찰이 들어오거나, 종료 처리와 입찰이..

데이터 부족 환경에서의 LSTM 진행 예측이 글은 현장실습에서 실측 시계열이 거의 없는 상태로 진행 예측을 붙이려 했을 때, LSTM을 어떻게 다뤘는지 정리한 기술 회고다. Segmentation·라벨링·규칙 엔진 본편은 별도 글로 분리해 두었고, 여기에서는 시계열·LSTM 쪽만 남긴다.프로젝트와 동작 원리파이프라인 후단에는 “지금 관측된 상태”뿐 아니라, 이후 어떻게 진행될지를 보조로 보는 구간이 있었다. 이미지·속성 쪽 모델이 fact를 뽑고 규칙 엔진이 해석한 뒤, 시계열이 있으면 LSTM으로 진행을 예측하는 흐름을 염두에 두었다.LSTM은 이전 시점의 상태를 기억해 다음 구간을 추정하는 시계열 모델이다. 다만 학습·검증이 되려면 시간 축이 있는 실측 시퀀스가 필요하다. 이번 구간의 병목도 모델 구..

Segmentation 모델 실험과 성능 개선이 글은 현장실습에서 MobileNetV2 + FPN 기반 Segmentation 모델을 반복 실험하며 성능을 올린 과정을 정리한 기술 회고다. 협업 과제의 기밀을 위해 탐지 대상의 구체 명칭은 적지 않고, 아키텍처·손실함수·데이터·후처리 측면에서 무엇을 바꿨는지만 남긴다.프로젝트와 동작 원리목표는 이미지에서 관심 영역을 픽셀 단위로 나누는 Segmentation 모델을 만들고, 그 결과를 후속 분석 파이프라인에 넘기는 것이었다. Backbone은 MobileNetV2, 구조는 FPN을 사용했다. 경량 encoder로 학습·추론 부담을 줄이면서, FPN으로 다중 스케일 특징을 쓰는 조합이었다. segmentation-models-pytorch로 ImageNet..

라벨링 도구 제작과 마스크 데이터 파이프라인이 글은 현장실습에서 Segmentation·후속 모델 학습을 위해 라벨링 도구와 마스크 데이터 파이프라인을 만든 과정을 정리한 기술 회고다. 외부와 협업한 과제였기 때문에, 무엇을 탐지했는지 같은 도메인 상세는 적지 않고, 어떤 도구와 데이터 흐름을 만들었는지만 남긴다.프로젝트와 필요성실습에서는 이미지 분할(Segmentation)과, 분할 결과를 입력으로 받는 후속 분석 모델을 함께 다뤘다. 학습을 돌리려면 픽셀 단위 마스크와, 필요 시 세부 속성 라벨이 있어야 했다. 문제는 바로 쓸 수 있는 Golden Set가 충분하지 않았다는 점이었다.그래서 라벨을 “수동으로 어떻게든 찍는 일”이 아니라, 반복 가능한 도구와 변환 스크립트 쪽으로 정리하기 시작했다. 목..