HTTPS와 TLS의 실제 동작 원리: 핸드셰이크, 인증서, 모범 사례
URL을 입력하고 Enter를 누르면 페이지가 안전하게 로드됩니다. 하지만 HTTPS를 사용할 때 실제로 어떤 일이 일어날까요? 많은 개발자들이 TLS를 블랙박스로 취급합니다—인증서 오류나 성능 문제 같은 것이 발생하기 전까지는요. 이 글에서는 핸드셰이크부터 인증서 검증까지 HTTPS와 TLS가 실제로 어떻게 동작하는지 설명하고, 오늘 바로 적용할 수 있는 실용적인 팁을 제공합니다.
HTTPS와 TLS의 실제 정의
HTTPS는 TLS(전송 계층 보안) 위에서 동작하는 HTTP입니다. TLS는 세 가지 보장을 제공하는 암호화 프로토콜입니다:
- 기밀성: 데이터가 암호화되어 도청자가 읽을 수 없습니다.
- 무결성: 전송 중 데이터가 감지 없이 수정될 수 없습니다.
- 인증: 인증서를 통해 의도한 서버와 통신하고 있음을 확인합니다.
TLS는 SSL(Secure Sockets Layer)에서 발전했습니다. SSL은 더 이상 사용되지 않으며, 현대 시스템은 TLS 1.2 또는 1.3을 사용합니다. "SSL 인증서"라고 볼 때 실제로는 TLS 인증서입니다.
쉽게 설명하는 TLS 핸드셰이크
HTTP 데이터가 흐르기 전에 클라이언트와 서버는 핸드셰이크를 수행하여 암호화 매개변수에 합의하고 신원을 확인합니다. 현재 표준인 TLS 1.3의 단순화된 버전은 다음과 같습니다:
- Client Hello: 클라이언트가 지원하는 TLS 버전, 암호화 스위트, 임의의 값을 보냅니다.
- Server Hello: 서버가 암호화 스위트를 선택하고 자체 임의의 값과 인증서 체인을 제공합니다.
- 키 교환: 양측이 임시 Diffie-Hellman을 사용하여 공유 비밀을 전송하지 않고 도출합니다.
- Finished: 양측이 핸드셰이크 무결성을 검증하고 암호화된 통신으로 전환합니다.
TLS 1.3은 핸드셰이크를 1회 왕복으로 줄여 지연 시간을 개선합니다. TLS 1.2는 2회 왕복이 필요하며 일부 안전하지 않은 구형 암호화 스위트를 지원합니다.
인증서는 어떻게 처리되나요?
서버의 인증서에는 인증 기관(CA)이 서명한 공개 키와 신원 정보가 포함되어 있습니다. 클라이언트는 다음을 검증합니다:
- 인증서가 신뢰할 수 있는 CA(또는 그 체인)에 의해 서명되었는지
- 인증서가 요청한 도메인에 유효한지 (Subject Alternative Names)
- 인증서가 유효 기간 내에 있는지
- 인증서가 폐기되지 않았는지 (OCSP 또는 CRL을 통해)
이 중 하나라도 실패하면 브라우저는 경고를 표시합니다. 만료된 인증서가 사이트를 중단시키는 이유입니다.
전송 중 암호화: 대칭 vs 비대칭
TLS는 두 가지 유형의 암호화를 모두 사용합니다:
- 비대칭(공개 키) 암호화: 핸드셰이크 중에 서버 인증 및 키 교환에 사용됩니다. 느리지만 키 분배 문제를 해결합니다.
- 대칭 암호화: 핸드셰이크 후 대량 데이터에 사용됩니다. 빠르고 효율적입니다 (예: AES-GCM, ChaCha20-Poly1305).
핸드셰이크는 클라이언트와 서버만 아는 공유 대칭 키를 설정합니다. 이후 HTTP 메시지는 해당 키로 암호화됩니다.
웹 서버를 위한 실용적인 TLS 구성
잘못된 구성은 흔합니다. 취약점을 피하려면 다음 지침을 따르세요:
- TLS 1.2 또는 1.3만 사용. TLS 1.0 및 1.1을 비활성화하세요.
- 강력한 암호화 스위트 선호 (예: ECDHE with AES-GCM 또는 ChaCha20). 가능하면 CBC 모드 암호화를 비활성화하세요.
- HTTP Strict Transport Security (HSTS) 활성화로 HTTPS를 강제하세요.
- OCSP Stapling 사용으로 폐기 확인 성능을 개선하세요.
- Let's Encrypt와 ACME 클라이언트로 인증서 갱신 자동화.
현대 TLS를 위한 Nginx 구성 샘플입니다:
server {
listen 443 ssl http2;
server_name example.com;
ssl_certificate /etc/letsencrypt/live/example.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/example.com/privkey.pem;
ssl_protocols TLSv1.2 TLSv1.3;
ssl_ciphers 'ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305';
ssl_prefer_server_ciphers off;
add_header Strict-Transport-Security "max-age=63072000; includeSubDomains; preload" always;
}
SSL Labs 또는 유사한 도구로 구성을 테스트하여 문제를 발견하세요.
흔한 HTTPS 함정과 회피 방법
| 함정 | 결과 | 해결책 |
|---|---|---|
| 만료된 인증서 | 브라우저 경고, 신뢰 상실 | 모니터링과 함께 갱신 자동화 |
| 혼합 콘텐츠 | HTTPS 페이지의 안전하지 않은 요소 | 모든 리소스를 HTTPS로 제공 |
| 약한 암호화 | 공격에 취약 | 레거시 암호화 비활성화 |
| HSTS 누락 | 다운그레이드 공격 가능 | HSTS 헤더 추가 |
FAQ
HTTPS와 TLS의 차이점은 무엇인가요?
HTTPS는 TLS 위에 계층화된 HTTP입니다. TLS는 연결을 보호하는 암호화 프로토콜이고, HTTPS는 HTTP 프로토콜의 보안 버전입니다.
로컬 개발에 인증서가 필요한가요?
엄격히 필요하지는 않지만, 자체 서명 인증서나 mkcert 같은 도구를 사용하면 프로덕션을 모방하고 혼합 콘텐츠 문제를 피할 수 있습니다. 로컬에서 신뢰하지 않는 한 브라우저는 자체 서명 인증서에 대해 경고합니다.
인증서는 얼마나 자주 갱신해야 하나요?
Let's Encrypt의 경우 인증서는 90일 동안 유효하며 자동 갱신해야 합니다. 상용 인증서는 최대 398일까지 가능하지만(현재 CA/Browser Forum 규칙 기준), 더 짧은 수명이 권장됩니다.
서버의 TLS 설정을 점검할 준비가 되셨나요? Nginx 로그 분석기를 사용하여 로그에서 SSL 오류와 핸드셰이크 실패를 찾아보세요.