DPI가 VPN 트래픽을 감지하는 방식: 기술적 분석

심층패킷검사(Deep Packet Inspection, DPI) 시스템은 암호화된 VPN 트래픽의 내용을 직접 읽을 수 없지만, 트래픽의 메타데이터와 행동 패턴을 분석하여 VPN 사용을 감지할 수 있다. 이는 VPN 프로토콜과 난독화 기술 간의 지속적인 기술적 경쟁의 핵심이며, 실제 네트워크 환경에서 어떻게 작동하는지 이해하는 것은 디지털 검열과 우회 기술을 분석하려는 보안 연구자, 기자, 네트워크 엔지니어에게 필수적이다.

## 배경: 검열 시스템의 진화

2000년대 중반부터 각국의 통신규제 기관들은 VPN 탐지 능력을 체계적으로 구축하기 시작했다. 러시아의 Roskomnadzor, 중국의 공업정보화부(MIIT)와 사이버공간관리위원회(CAC), 이란의 통신규제청(FATA), 태국, 베트남 등 여러 국가가 관할 구역 내 VPN 사용을 제한하거나 통제하기 위해 DPI 기반 필터링 인프라를 구축했다. 이러한 시스템들은 초기에는 단순한 포트 차단과 IP 블랙리스팅으로 시작했지만, 난독화 기술의 발전에 따라 더욱 정교한 행동 분석 기법으로 진화했다.

## 현재의 기술적 상황: DPI와 다층 필터링

오늘날의 검열 시스템은 여러 기법을 조합하여 작동한다.

첫째, DNS 필터링은 여전히 광범위하게 사용되고 있다. 알려진 VPN 서비스 제공자의 도메인에 대한 질의를 차단하거나 거짓된 IP 주소로 응답하는 방식이다. 하지만 이는 DoH(DNS over HTTPS)나 DoT(DNS over TLS) 같은 암호화된 DNS 채널을 통해 우회할 수 있다.

둘째, SNI(Server Name Indication) 검사는 TLS 핸드셰이크의 평문 부분을 읽어 클라이언트가 접속하려는 도메인을 파악한다. 이 기술은 HTTPS 트래픽 필터링에 광범위하게 사용되며, ECH(Encrypted Client Hello)와 같은 기술로 우회 가능하지만 아직 광범위한 배포 상태에는 이르지 못했다.

셋째, DPI는 패킷 크기 패턴, 타이밍 분석, 그리고 프로토콜 핸드셰이크의 지문(fingerprint)을 분석한다. VPN 프로토콜은 고유한 초기 핸드셰이크 시퀀스를 가지고 있다. OpenVPN은 특정한 패킷 길이와 타이밍 패턴을 보유하고 있으며, WireGuard 프로토콜도 그 특유의 메시지 구조로 인해 식별될 수 있다. 이러한 지문은 기계학습 모델로도 분류될 수 있으며, 몇몇 국가의 DPI 시스템에서 이미 이러한 기법을 사용하고 있다는 보도가 있다.

## 실제 영향: 측정 가능한 데이터

OONI(Open Observatory of Network Interference)가 수집한 데이터는 여러 국가에서 체계적인 VPN 차단이 발생하고 있음을 보여준다. Access Now의 #KeepItOn 보고서에 따르면, 최근 몇 년간 VPN과 프록시 차단은 인터넷 셧다운의 표준 구성 요소가 되었다. 특히 2019-2021년 사이 여러 국가에서 대규모 항의 기간 동안 선택적 VPN 차단이 기록되었다.

러시아는 2017년부터 VPN 사용을 공식적으로 제한하기 시작했으며, Roskomnadzor는 DPI 기반 차단 목록을 점진적으로 확대해왔다. 중국의 CAC는 더욱 광범위한 VPN 규제를 시행하고 있으며, 보도에 따르면 기계학습 기반의 프로토콜 식별 시스템을 운영 중이다. 하지만 이러한 차단의 정확한 기술 구조와 알고리즘에 대한 공개적이고 검증된 정보는 제한적이다.

## 난독화 기술: 탐지-우회 경쟁

검열 체계에 대응하기 위해 여러 난독화 기술이 개발되었다.

obfs4(Obfsproxy v4)는 초기 핸드셰이크를 난독화하여 프로토콜 지문을 변경한다. 이는 Tor 프로젝트의 pluggable transports 생태계의 일부이며, 목표는 VPN 트래픽을 일반적인 HTTPS나 다른 프로토콜처럼 보이게 하는 것이다.

Shadowsocks는 트래픽을 SOCKS5 프록시 프로토콜처럼 보이게 하며, 사용자 정의 암호화를 추가한다. V2Ray와 Xray는 보다 복잡한 트래픽 혼합과 프로토콜 변환을 지원한다.

더 최신의 접근법은 트래픽 쉐이핑(traffic shaping)을 포함한다. 이는 패킷 크기와 타이밍 패턴을 변경하여 통계적 분석을 더 어렵게 만든다. 예를 들어, 의도적으로 불규칙한 길이의 패킷을 전송하거나 정상 트래픽처럼 보이는 더미 패킷을 삽입할 수 있다.

Tor 프로젝트의 최신 pluggable transports인 Snowflake와 WebTunnel은 일반 웹 트래픽으로 위장하는 방식을 사용한다. REALITY 프로토콜(Xray에 구현됨)은 정상적인 TLS 연결처럼 보이도록 설계되었으며, 중간자 공격자도 구별하기 어렵게 한다. MASQUE(Multiplexed Application Substrate over QUIC Encryption)는 IETF 표준화 과정에 있는 새로운 접근법으로, HTTP/3를 통해 임의의 트래픽을 터널링한다.

## 근본적인 한계와 현실

DPI 기반 차단의 근본적인 문제는 암호화된 트래픽의 특성에 있다. 프로토콜 지문을 변경하면 탐지는 더 어려워지지만, 완전히 불가능하지는 않다. 최고도로 정교한 DPI 시스템은 통계적 분석, 기계학습, 그리고 시간 분석을 결합하여 난독화된 프로토콜도 감지할 수 있다. 반대로, 난독화 기술이 발전할수록 탐지 시스템도 적응해야 한다. 이는 순수한 기술적 경쟁이며, 어느 한쪽이 완전한 승리를 거두기는 어렵다.

현재 상황은 다음과 같이 요약할 수 있다: 체계적이고 자본이 풍부한 검열 기관은 대부분의 상용 VPN 프로토콜을 식별할 수 있고, 특히 핸드셰이크 단계에서 더욱 그렇다. 하지만 고급 난독화 기술, 트래픽 쉐이핑, 그리고 프로토콜 혁신은 계속해서 이러한 탐지를 어렵게 만든다. 결국 VPN 우회 가능성은 상대적인 것이며, 특정 네트워크 환경, 검열 기관의 기술 수준, 그리고 사용되는 구체적인 구현에 따라 달라진다.