[Programming] 유니코드(Unicode)란? (feat. UTF-8,UTF-16)

안녕하세요 Foma 💻 입니다.

 

오늘은 평소에 많이 들어보긴 했지만 정확한 뜻은 모르는 Unicode,UTF에 대해 정확히 공부를 해보려고 합니다.

 

바로 시작할게요~

---

Unicode란?

 

초기에 컴퓨터에서는 아스키를 사용하였는데, 이것은 8비트만을 사용해서 256개 문자를 표현할 수 있었습니다.

 

(비트를 모르시는 분들은 여기 에서 확인할 수 있습니다!)

 

하지만 256개의 문자로는 세계의 수 많은 언어를 다루긴 힘들죠.

 

그래서 전 세계 모든 문자를 수용할 수 있는 산업 표준을 설계한 것이 바로 유니코드입니다.

 

이 표준에는 문자 집합이나 문자 인코딩 등 문자들을 다루기 위한 알고리즘 등을 포함하고 있습니다.

 

유니 코드는 유니크한 코드라는 것을 줄인 것으로 모든 문자에 특정 번호를 매겨서 사용합니다.

 

현재는 문자뿐만 아니라 🎨🕶😎🙄과 같은 이모지도 유니코드에 포함됩니다.

 

총 16비트를 사용하기 때문에 2^^16에 17개의 보조 평면이 존재하여 111,4112가지 문자를 표현할 수 있습니다.

 

출처:https://www.dazhuanlan.com/gustave2454/topics/1744099

 

한글은 아래와 같이 0xAC00 ~ 0xD7A3 까지 차지하고 있습니다.

 

출처:https://en.wikipedia.org/wiki/Hangul_Syllables

---

UTF-8

 

UTF의 풀 네임은 Unicode Transformation Format)입니다.

 

즉, 유니코드를 변환(인코딩)하는 방식입니다.

 

뒤에 8은 8비트 즉, 1Byte를 기준으로 인코딩한다는 의미입니다.

 

데이터베이스에서 기본적으로 설정되는 방식이 UTF-8입니다.

---

UTF-16

 

위에서 설명한 UTF-8은 1Byte 기준이지만 UTF-16은 16bit 즉, 2Byte 기준으로 인코딩한다는 의미입니다.

 

윈도우에서 기본적으로 설정되는 방식이 UTF-16입니다.

 

UTF-8은 데이터베이스이고 윈도우는 UTF-16이기 때문에 보통 REST API를 이용해서 데이터를 보내면

 

POST: 윈도우에서 UTF-16으로 보낸 문자를 데이터 베이스에서 UTF-8로 변환해 가지고 있다.

 

GET: 데이터베이스에서 UTF-8로 가지고 있다가 UTF-16으로 변환해 윈도우에 전달한다.

---

UTF 인코딩 및 디코딩 과정

 

Hello를 UTF-8로 인코딩 하게 되면 다양한 값으로 변환할 수 있는데요.

 

아래와 같이 다양한 값을 얻을 수 있습니다. (사이트는 여기로 들어가시면 됩니다.)

 

 

이 중에서 HexString을 살펴보면 48656c6c6f로 되어있습니다.

 

이유는 H가 UTF-8 Encoidng 값이 48이고 

 

 

e가 65이고

 

 

l이 6c이고

 

 

o가 6f이기 때문에 Hello는 48656c6c6f가 되는 것이죠!

 

 

디코딩 또한 똑같이 48이 H,65가 e,6c가 l,6f가 o => Hello가 되는 것이죠.

 

가끔 컴퓨터에서 한글이 \uc548\ub155\ud558\uc138\uc694 과 같이 보일 때가 있습니다.

 

이것 또한 UTF-16으로 한글을 인코딩 한 문자인데요.

 

uc548 => 안

 

 

ub155 => 녕

 

 

ud558 => 하

 

 

uc138 => 세

 

 

uc694 =>요

 

 

이렇게 위와 같이 유니코드의 등록되어 있는 번호대로 인코딩과 디코딩이 이루어지게 됩니다.