LOCOMOTE THE WORLD

Mobile Face Swap Experiment Configuration A/B test: multi-process vs multi-thread Single process Multi process Multi thread A/B test: High resolution module Real-ESRGAN Fast-SRGAN Bicubic interpolation Others or Issues Result Face swap Super resolution Summary Reference

Mobile Face Swap

📍 Objective: Real time face swap → 30fps

elevate synthesis frame speed by multiprocessing in video frame loop

add upscale module → FHD super resolution result

Experiment

실시간 합성 fps를 목표로 모델 분석 보다는 성능 향상에 focus함. 이후 SOTA upscale module을 붙여서 고품질 영상 합성을 결과물 내는 것을 목표로 함.

Configuration

실험은 자체 서버 wswg3에서 진행.

A/B test: multi-process vs multi-thread

병렬로 작업을 처리한다는 공통점이 있으나 메모리 공유에 있어서 서로 다른 양상을 보임.

멀티프로세스로 작업할 경우 독립적으로 메모리가 관리하여 안정적으로 처리가 된다는 점. 하지만 메모리 내 context switching 자주 일어나서 오버헤드가 발생하여 성능저하가 일어날 수 있다는 단점을 가지고 있다.

반면 멀티쓰레드 자원을 공유하여 메모리 자원 소모가 감소하고 공유된 메모리다 보니 context switching 빠르다는 장점을 가지고 있다. 하지만 데드락이나 쓰레드 하나 문제가 전체 프로세스가 영향을 받는다는 단점을 가지고 있다.

이에 따라 두 가지 실험을 하면서 앞으로 upscale module을 붙였을 때 더 성능이 나은 경우 확인하기 위해 진행하였다. 입력 데이터는 2차년도에서 활용한 데이터들 기준으로 진행.

source image: koo.png

target video: test.mp4

Single process

기존 코드에서 gpu 4개 활성화 코드 추가 및 리팩토링을 진행하였다. 크게 성능을 벗어나게 기능 추가하지 않는 상태에서 실험을 진행하였을 때 아래와 같은 결과가 나왔다.

Multi process

각 프로세스 당 frame read → frame process → frame write 단계로 총 3단계로 나뉘었다.

인덱스가 적힌 worker는 모델을 load하고 그만큼 저장공간을 확보하므로 다른 프로세스에 비해 차지하는 용량이 비교적 높은 편. 따라서 lightweight한 process라고 볼 수 없다. 이전 single process에 비해서는 약 2배 개선이 되었다. 한 프로세스에서 loaded model을 활용하는 방안으로 multi thread로 실험을 진행.

Multi thread

단일 프로세스에서 진행. 기존 single process보다 약 4배, multi process에서는 2배 정도 속도가 향상되었다. single process와 용량 차이가 난 이유는 아래 각 기능별 쓰레드로 처리시 별도의 대기 큐를 설정하였기 때문으로 추정하고 있다.

A/B test: High resolution module

Real-ESRGAN

간이 테스트로 진행. 1~2fps 달성으로 경량화된 모듈 찾는 것으로 진행

Fast-SRGAN

기존 보다는 2배 빠르나, 여전히 2~3fps에 웃돌고 있는 것을 확인

Bicubic interpolation

모델 둘다 느려서 아래 벤치마크를 확인.

Video Upscalers Benchmark
Video Upscalers Benchmark
The most extensive comparison of video super-resolution (VSR) algorithms by subjective quality

ADSBicubic++: Slim, Slimmer, Slimmest -- Designing an Industry-Grade Super-Resolution Network
Bicubic++: Slim, Slimmer, Slimmest -- Designing an Industry-Grade Super-Resolution Network
We propose a real-time and lightweight single-image super-resolution (SR) network named Bicubic++. Despite using spatial dimensions of the input image across the whole network, Bicubic++ first learns quick reversible downgraded and lower resolution features of the image in order to decrease the number of computations. We also construct a training pipeline, where we apply an end-to-end global structured pruning of convolutional layers without using metrics like magnitude and gradient norms, and focus on optimizing the pruned network's PSNR on the validation set. Furthermore, we have experimentally shown that the bias terms take considerable amount of the runtime while increasing PSNR marginally, hence we have also applied bias removal to the convolutional layers. Our method adds ~1dB on Bicubic upscaling PSNR for all tested SR datasets and runs with ~1.17ms on RTX3090 and ~2.9ms on RTX3070, for 720p inputs and 4K outputs, both in FP16 precision. Bicubic++ won NTIRE 2023 RTSR Track 2 x3 SR competition and is the fastest among all competitive methods. Being almost as fast as the standard Bicubic upsampling method, we believe that Bicubic++ can set a new industry standard.
ADS

모델 기반 방법들의 결과가 매우 느려서 아래와 같이 개선된 Bicubic++ 테스트 진행

✅ fps 달성 준수한 퀄리티 해상도 영상 결과물 확인

Others or Issues

Ubuntu 22.04에서 cv.Videowriter X → 결과물 비디오를 별도로 google drive에 올려서 확인함

Result

Face swap

기존 합성 속도에 비해 4배 향상

demo video result with improved compositon speed

Super resolution

기존 대비 25fps → 45fps 향상 및 sr 모듈 도입 고도화 완료

Summary

DNN 기반 얼굴 합성

✅ 추가 개발 요소 1): 병렬 처리 → 합성 속도 향상
✅ 추가 개발 요소 2): upscale 모듈 추가 → 합성 결과 FHD로 super-resolution

본 과제에서 fps 향상을 위해 multi process/thread를 도입하였으며, context switching이 없다는 점에서 multi thread가 더 빠른 모습을 보여줌.

또한 고도화를 위해 여러 SR benchmark를 살핀 결과 fps가 생각보다 20fps를 넘는 sr 모듈이 많이 없었음. 따라서 bicubic interpolation implement 중에 bicubic++와 같이 기존 알고리즘에서 leverage한 methodology를 발견하였고, bicubic이 1ms로 처리할 때 bicubic++는 2.9ms로 처리한다는 점에서 다른 모델에 비해서 빠르게 처리함. 이식 후 480p → 1080p upscale 확인. 다만 bicubic++ SR rate가 3으로 고정적인 문제점을 지니고 있는데(모델 자체 문제) 이와 관련해서는 실험은 더 이상 진행하지 않음.

Reference

XailientParallel Processing Using Python for Faster Video Processing
Parallel Processing Using Python for Faster Video Processing
How can we speed up video processing? Parallel processing is the answer!
Xailient

Doodle-KyungchaePython Multiprocessing으로 병렬처리, 비디오 처리로 맛보기
Python Multiprocessing으로 병렬처리, 비디오 처리로 맛보기
Why Multiprocessing? 이전 포스트(링크)에서도 언급했듯이, Python은 Global Interpreter Lock(GIL) 로 인해서 원칙적으로는 c에서와 같이 fork 등 프로세스 분기가 막혀있다. Multiprocessing을 통해서 이런 한계점을 극복할 수 있는데, 이번 포스트에서는 그 중 Process를 이용한다. SIMD vs Pipeline 내가 사용하는 병렬화 방식은 크게 두가지인데, 이 중 Process를 이용한 파이프라인 기반의 병렬처리는 아래 2번의 설명과 같이 한번에 처리해야하는 데이터의 양보다도 하나의 데이터에 대해 수행해야하는 작업 자체가 복잡하고 여러 단계로 이루어져 있을 때 유용하다. 단순한 작업이 매우 많이 반복되어야한다 --> Pool을 사용하는 SIMD스..
Doodle-Kyungchae

Video Upscalers Benchmark
Video Upscalers Benchmark
The most extensive comparison of video super-resolution (VSR) algorithms by subjective quality

Fast-SRGAN
Github
Fast-SRGAN
Owner
HasnainRaz
Updated
Jun 11, 2026

bicubic_pytorch
Github
bicubic_pytorch
Owner
sanghyun-son
Updated
Jun 10, 2026