HTTPS와 TLS의 실제 동작 원리: 핸드셰이크, 인증서, 모범 사례

Security2026-11-13TryQuickToolBox

URL을 입력하고 Enter를 누르면 페이지가 안전하게 로드됩니다. 하지만 HTTPS를 사용할 때 실제로 어떤 일이 일어날까요? 많은 개발자들이 TLS를 블랙박스로 취급합니다—인증서 오류나 성능 문제 같은 것이 발생하기 전까지는요. 이 글에서는 핸드셰이크부터 인증서 검증까지 HTTPS와 TLS가 실제로 어떻게 동작하는지 설명하고, 오늘 바로 적용할 수 있는 실용적인 팁을 제공합니다.

HTTPS와 TLS의 실제 정의

HTTPS는 TLS(전송 계층 보안) 위에서 동작하는 HTTP입니다. TLS는 세 가지 보장을 제공하는 암호화 프로토콜입니다:

TLS는 SSL(Secure Sockets Layer)에서 발전했습니다. SSL은 더 이상 사용되지 않으며, 현대 시스템은 TLS 1.2 또는 1.3을 사용합니다. "SSL 인증서"라고 볼 때 실제로는 TLS 인증서입니다.

쉽게 설명하는 TLS 핸드셰이크

HTTP 데이터가 흐르기 전에 클라이언트와 서버는 핸드셰이크를 수행하여 암호화 매개변수에 합의하고 신원을 확인합니다. 현재 표준인 TLS 1.3의 단순화된 버전은 다음과 같습니다:

  1. Client Hello: 클라이언트가 지원하는 TLS 버전, 암호화 스위트, 임의의 값을 보냅니다.
  2. Server Hello: 서버가 암호화 스위트를 선택하고 자체 임의의 값과 인증서 체인을 제공합니다.
  3. 키 교환: 양측이 임시 Diffie-Hellman을 사용하여 공유 비밀을 전송하지 않고 도출합니다.
  4. Finished: 양측이 핸드셰이크 무결성을 검증하고 암호화된 통신으로 전환합니다.

TLS 1.3은 핸드셰이크를 1회 왕복으로 줄여 지연 시간을 개선합니다. TLS 1.2는 2회 왕복이 필요하며 일부 안전하지 않은 구형 암호화 스위트를 지원합니다.

인증서는 어떻게 처리되나요?

서버의 인증서에는 인증 기관(CA)이 서명한 공개 키와 신원 정보가 포함되어 있습니다. 클라이언트는 다음을 검증합니다:

이 중 하나라도 실패하면 브라우저는 경고를 표시합니다. 만료된 인증서가 사이트를 중단시키는 이유입니다.

전송 중 암호화: 대칭 vs 비대칭

TLS는 두 가지 유형의 암호화를 모두 사용합니다:

핸드셰이크는 클라이언트와 서버만 아는 공유 대칭 키를 설정합니다. 이후 HTTP 메시지는 해당 키로 암호화됩니다.

웹 서버를 위한 실용적인 TLS 구성

잘못된 구성은 흔합니다. 취약점을 피하려면 다음 지침을 따르세요:

현대 TLS를 위한 Nginx 구성 샘플입니다:

server {
    listen 443 ssl http2;
    server_name example.com;

    ssl_certificate /etc/letsencrypt/live/example.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/example.com/privkey.pem;

    ssl_protocols TLSv1.2 TLSv1.3;
    ssl_ciphers 'ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305';
    ssl_prefer_server_ciphers off;

    add_header Strict-Transport-Security "max-age=63072000; includeSubDomains; preload" always;
}

SSL Labs 또는 유사한 도구로 구성을 테스트하여 문제를 발견하세요.

흔한 HTTPS 함정과 회피 방법

함정결과해결책
만료된 인증서브라우저 경고, 신뢰 상실모니터링과 함께 갱신 자동화
혼합 콘텐츠HTTPS 페이지의 안전하지 않은 요소모든 리소스를 HTTPS로 제공
약한 암호화공격에 취약레거시 암호화 비활성화
HSTS 누락다운그레이드 공격 가능HSTS 헤더 추가

FAQ

HTTPS와 TLS의 차이점은 무엇인가요?

HTTPS는 TLS 위에 계층화된 HTTP입니다. TLS는 연결을 보호하는 암호화 프로토콜이고, HTTPS는 HTTP 프로토콜의 보안 버전입니다.

로컬 개발에 인증서가 필요한가요?

엄격히 필요하지는 않지만, 자체 서명 인증서나 mkcert 같은 도구를 사용하면 프로덕션을 모방하고 혼합 콘텐츠 문제를 피할 수 있습니다. 로컬에서 신뢰하지 않는 한 브라우저는 자체 서명 인증서에 대해 경고합니다.

인증서는 얼마나 자주 갱신해야 하나요?

Let's Encrypt의 경우 인증서는 90일 동안 유효하며 자동 갱신해야 합니다. 상용 인증서는 최대 398일까지 가능하지만(현재 CA/Browser Forum 규칙 기준), 더 짧은 수명이 권장됩니다.

서버의 TLS 설정을 점검할 준비가 되셨나요? Nginx 로그 분석기를 사용하여 로그에서 SSL 오류와 핸드셰이크 실패를 찾아보세요.