HTTPS와 TLS의 실제 동작 원리: 실용 가이드

Security2026-11-17TryQuickToolBox

https://를 입력하면 브라우저에 자물쇠 아이콘이 표시됩니다. 하지만 그 자물쇠 뒤에서 실제로 무슨 일이 일어날까요? 많은 개발자가 HTTPS를 블랙박스로 취급합니다—인증서 오류, 혼합 콘텐츠 경고, 원인 불명의 핸드셰이크 실패 같은 문제가 발생하기 전까지는요. 이 글은 초기 핸드셰이크부터 암호화된 데이터 교환까지 HTTPS와 TLS가 실제로 어떻게 동작하는지 설명하고, 여러분의 프로젝트에서 TLS를 검증하고 디버깅하는 실용적인 단계를 제공합니다.

HTTPS가 HTTP에 추가하는 것

HTTP는 데이터를 평문으로 전송합니다. 네트워크 경로에 있는 누구든—ISP, 카페 Wi-Fi 운영자, 악성 라우터—데이터를 읽거나 수정할 수 있습니다. HTTPS는 HTTP를 TLS(Transport Layer Security)로 감싸서 세 가지 보장을 제공합니다:

이러한 보장은 비대칭 암호화(핸드셰이크용)와 대칭 암호화(실제 데이터용)의 조합에서 나옵니다.

쉬운 말로 설명하는 TLS 핸드셰이크

핸드셰이크는 HTTP 데이터가 전송되기 전에 이루어지는 협상입니다. 최신 TLS 1.3은 이를 한 번의 왕복으로 단순화했지만, 핵심 개념은 동일합니다. 단순화된 순서는 다음과 같습니다:

  1. 클라이언트 헬로: 클라이언트가 인사하고, 지원하는 TLS 버전, 암호화 스위트, 임의 값을 나열합니다.
  2. 서버 헬로: 서버가 TLS 버전과 암호화 스위트를 선택하고, 자체 임의 값과 인증서 체인을 보냅니다.
  3. 인증서 검증: 클라이언트가 신뢰할 수 있는 루트 CA에 대해 인증서를 확인하고, 도메인 이름을 검증하며, 만료 여부를 확인합니다.
  4. 키 교환: 인증서의 공개 키(또는 디피-헬만 교환)를 사용하여 양측이 공유 비밀을 도출하며, 이 비밀은 네트워크로 전송되지 않습니다.
  5. 완료: 양측이 핸드셰이크 트랜스크립트에 대한 MAC을 보내 변조가 없음을 확인합니다. 이제 암호화된 HTTP가 흐를 수 있습니다.

TLS 1.3에서는 키 교환과 서버 인증서가 첫 번째 비행에 전송되어 지연이 줄어듭니다. 클라이언트는 경우에 따라 조기 데이터(0-RTT)를 보낼 수도 있지만, 재전송 위험이 있습니다.

인증서: 신뢰의 닻

인증서는 공개 키를 도메인 이름에 바인딩하고 인증 기관(CA)이 서명합니다. 브라우저와 OS에는 루트 CA의 신뢰 저장소가 포함되어 있습니다. 서버가 인증서 체인을 보내면 클라이언트는 서버 인증서에서 신뢰할 수 있는 루트까지 경로를 구축합니다.

일반적인 인증서 문제는 다음과 같습니다:

Let's Encrypt는 무료 인증서를 대중화했고, ACME 프로토콜을 통한 자동화 덕분에 수동으로 갱신을 관리할 필요가 거의 없습니다.

암호화: 설정에는 비대칭, 속도에는 대칭

비대칭 암호화(RSA 또는 ECDSA)는 느리지만 키 분배 문제를 해결합니다. 대칭 암호화(AES-GCM 또는 ChaCha20-Poly1305)는 빠르지만 양측이 키를 공유해야 합니다. TLS는 핸드셰이크 중에만 비대칭 암호화를 사용하여 공유 세션 키를 설정한 다음, 데이터에는 대칭 암호화로 전환합니다.

전방 비밀성(Forward secrecy)은 핵심 속성입니다: 임시 디피-헬만(DHE 또는 ECDHE)을 사용하면 세션 키가 연결마다 파생되고 폐기됩니다. 서버의 개인 키가 나중에 유출되더라도 과거 세션은 복호화할 수 없습니다.

실습: TLS 연결 검사하기

OpenSSL로 핸드셰이크와 인증서를 검사할 수 있습니다. 이는 디버깅 시 매우 유용합니다.

openssl s_client -connect example.com:443 -servername example.com -showcerts

인증서 체인, 협상된 프로토콜(예: TLSv1.3), 암호화 스위트를 확인하세요. 만료를 빠르게 확인하려면:

echo | openssl s_client -connect example.com:443 -servername example.com 2>/dev/null | openssl x509 -noout -dates -subject

더 사용자 친화적인 보기를 원하면 브라우저 개발자 도구의 보안 탭에서 보안 세부 정보를 확인할 수 있습니다. curl -vI https://example.com 같은 명령줄 도구도 TLS 세부 정보를 출력합니다.

일반적인 TLS 오구성 및 해결 방법

문제증상해결 방법
중간 인증서 누락일부 브라우저에서는 작동하지만 다른 브라우저에서는 실패서버 구성에 전체 체인 포함
취약한 프로토콜 활성화보안 스캐너가 TLS 1.0/1.1을 지적구 TLS 버전 비활성화, TLS 1.2+ 요구
혼합 콘텐츠자물쇠 경고 또는 깨짐모든 하위 리소스를 HTTPS로 로드
HSTS 미활성화다운그레이드 공격 가능Strict-Transport-Security 헤더 추가

SSL Labs 같은 도구를 사용하여 구성을 감사하세요. Nginx의 경우 현대적인 구성은 다음과 같습니다:

ssl_protocols TLSv1.2 TLSv1.3;
ssl_ciphers 'ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256';
ssl_prefer_server_ciphers off;
ssl_certificate /path/fullchain.pem;
ssl_certificate_key /path/privkey.pem;

항상 전체 체인(서버 인증서 + 중간 인증서)을 fullchain.pem에 포함하세요.

개발 중 TLS 문제 디버깅

UNABLE_TO_VERIFY_LEAF_SIGNATURE 또는 certificate has expired가 표시될 때 프로덕션에서 검증을 비활성화하지 마세요. 대신:

FAQ

TLS는 SSL과 같은 건가요?

SSL은 TLS의 전신입니다. SSL 2.0과 3.0은 더 이상 사용되지 않으며 안전하지 않습니다. 오늘날 사람들이 SSL이라고 말할 때는 보통 TLS를 의미합니다. 항상 TLS 1.2 또는 1.3을 사용하세요.

localhost에 인증서가 필요한가요?

브라우저는 localhost를 HTTP에서도 보안 컨텍스트로 취급하지만, 일부 API(서비스 워커, 지리적 위치 등)는 HTTPS를 요구합니다. 실제와 유사한 테스트를 위해 mkcert 같은 도구로 로컬에서 신뢰할 수 있는 인증서를 생성하세요.

HTTPS는 중간자 공격으로부터 어떻게 보호하나요?

인증서 검증 단계는 클라이언트가 해당 도메인에 대해 신뢰할 수 있는 CA가 서명한 인증서와 일치하는 개인 키를 가진 서버와 통신하고 있음을 보장합니다. 공격자는 CA나 서버의 개인 키를 손상시키지 않고는 이를 위조할 수 없습니다. 핸드셰이크의 Finished 메시지도 변조를 감지합니다.

TLS 오류에 대한 서버 로그를 검사하거나 분석해야 한다면 Nginx 로그 분석기가 핸드셰이크 실패와 인증서 문제를 빠르게 찾는 데 도움이 됩니다.