HSV 이미지를 사용하여 특정 색상 Object 추출하기

구현

1. RGB 이미지를 입력받아 HSV 이미지로 변환한다.

2. 색상의 범위에 따라 특정 색상의 객체를 추출하는 마스크를 생성한다.

3. 생성한 마스크에 따라 이미지를 계산하여 특정한 색상의 객체만 추출되는 결과 이미지를 만든다.

4. OpenCV를 사용해서도 해보고 안쓰고도 해봤다.

입력 이미지와 결과 이미지(orange 색상인 객체만 추출)

 

 

RGB to HSV

- 일단, 특정 색상 객체를 추출하기 위해서 왜 HSV 이미지가 필요한지부터 알아야 한다. 

 

RGB 모델

출처 : https://tattly.com/products/rgb

- RGB 모델은 빛의 삼원색을 이용하여 색을 표현하는 기본적인 색상 모델

- 색을 빨강(Red), 초록(Green), 파랑(Blue), 3가지 성분의 조합으로 표현한다

- R, G, B값은 0~255 사이의 값들로 표현된다.

 

HSV 모델

출처 : https://ko.wikipedia.org/wiki/HSV_%EC%83%89_%EA%B3%B5%EA%B0%84#/media/File:HSV_cone.jpg

- HSV 모델은 인간의 색인지에 기반을 둔 색상 모델

- Hue(색조), Saturation(채도), Value(명도), 3가지 성분의 조합으로 표현

- Hue(색조) : 색의 종류. 0º~360º의 범위를 갖는다.

- Saturation(채도) : 색의 선명도, 진함의 정도(가장 진한 상태를 100%로 한다)

- Value(명도) : 색의 밝기, 밝은 정도(가장 밝은 상태를 100%로 한다)

 

RGB 에서 HSV로 변환하는 이유

- RGB 이미지에서 색 정보를 검출하기 위해서는 R, G, B 세가지 속성을 모두 참고해야한다.

- 하지만 HSV 이미지에서는 H(Hue)가 일정한 범위를 갖는 순수한 색 정보를 가지고 있기 때문에 RGB 이미지보다 쉽게 색을 분류할 수 있다.

 

RGB to HSV 공식

출처 : https://www.rapidtables.com/convert/color/rgb-to-hsv.html

- 위의 공식에서는 HSV 이미지를 H의 범위는 0~360으로 S, V는 0~1의 범위로 정규화 했다.

- OpenCV에서는 HSV 이미지를 H(0~180), S(0~255), V(0~255)로 표현한다.

- H(Hue)가 360이 아닌 180으로 범위를 지정한 이유는 OpenCV 이미지 변수들은 8bit로 설정되어 있어서 최대 255까지만 표현할 수 있기 때문이다.

 

mask 생성

- 모든 원소값이 0인 HSV 이미지와 같은 크기의 마스크 행렬을 만든다 

- HSV 이미지 픽셀 값과 내가 원하는 색상 범위를 비교해서 픽셀 값이 색상 범위 안에 있을 경우, 그에 대응되는 위치의 마스크 행렬의 원소 값에 1을 입력한다.

- HSV의 색상 범위는 다음과 같다.

출처 : https://brunch.co.kr/@chulhochoiucj0/17

- 구현 과정에서 색상의 범위를 지정하는게 제일 힘들었다. 육안으로 내가 검출하는 색상의 H, S, V값을 정확히 알 수 없기 때문에, 어느정도 예상해서 범위를 지정한 다음 잘 검출되는 범위로 계속 수정했다.

- OpenCV에서 색조 범위는 0~180이므로 원하는 색상을 얻으려면 HSV 색상표 값에서 1/2 해줘야 한다.

※ 오렌지 색과 초록색은 색상표와 일치했는데 파란색은 전혀 다른 수치에서 검출되었다. 왜 그럴까...?🤔

 

mask를 이용한 object 추출 이미지 계산

- 원본 이미지에 대응되는 mask 행렬의 값에 따라 원본 이미지를 계산한다.

- mask 값이 1인 부분은 우리가 원하는 색상을 가지고 있기 때문에 R, G, B값을 그대로 가지고 있는다.

- mask 값이 0인 부분은 R, G, B값에 0을 곱해 검은 색으로 만든다.

 

 

Code

 

OpenCV를 사용해서 구현

import cv2
# matplotlib.image 를 사용하기 위해선 matplotlib 뿐만 아니라 pillow도 깔아야 한다.
import matplotlib.pyplot as plt
import matplotlib.image as mpimg


# 색상 범위 설정
lower_orange = (100, 200, 200)
upper_orange = (140, 255, 255)

lower_green = (30, 80, 80)
upper_green = (70, 255, 255)

lower_blue = (0, 180, 55)
upper_blue = (20, 255, 200)

# 이미지 파일을 읽어온다
img = mpimg.imread("test2.jpg", cv2.IMREAD_COLOR)

# BGR to HSV 변환
img_hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)

# 색상 범위를 제한하여 mask 생성
img_mask = cv2.inRange(img_hsv, lower_orange, upper_orange)

# 원본 이미지를 가지고 Object 추출 이미지로 생성
img_result = cv2.bitwise_and(img, img, mask=img_mask)

# 결과 이미지 생성
imgplot = plt.imshow(img_result)

plt.show()

 

OpenCV없이 구현

import numpy as np
import matplotlib.pyplot as plt
import matplotlib.image as mping


def RGB2HSV(RGB):
    # HSV 색상을 얻기 위해서는 array 타입이 float이 되어야 계산할 수 있다
    RGB_array = np.array(RGB).astype(np.float64)
    
    # 변환할 HSV 이미지 생성
    HSV = np.array(RGB).astype(np.float64)
    
    # RGB 이미지의 width, height 저장
    width, height = RGB_array.shape[:2]

    # 이미지 크기만큼 for 루프
    for i in range(width):
        for j in range(height):
            # 공식 따라서 구현
            var_R = RGB_array[i, j, 0] / 255.0
            var_G = RGB_array[i, j, 1] / 255.0
            var_B = RGB_array[i, j, 2] / 255.0

            C_Min = min(var_R, var_G, var_B)
            C_Max = max(var_R, var_G, var_B)

            change = C_Max - C_Min
            V = C_Max
            
            if C_Max == 0:
                S = 0
            else:
                S = change / C_Max
                
            if change == 0:
                H = 0
            else:
                if var_R == C_Max:
                    H = 60 * (((var_R - var_B)/change)%6)
                elif var_G == C_Max:
                    H = 60 * (((var_B - var_R)/change)+2)
                elif var_B == C_Max:
                    H = 60 * (((var_R - var_B)/change)+4)
                    
            HSV[i, j, 0] = H
            HSV[i, j, 1] = S
            HSV[i, j, 2] = V     
            
    return HSV

def Mask(HSV, color):
    # 범위값과 비교할 hsv 이미지 생성, 파라미터에 있는 HSV를 그냥 쓰면 원소값이 float이 아닌 int로 나옴
    hsv = np.array(HSV).astype(np.float64)

    # HSV 이미지의 width, height 저장
    width, height = HSV.shape[:2]

    # 모든 값은 원소 값이 0 인 마스크 행렬 생성
    mask = np.zeros((width, height))

    # hsv 값과 범위 비교
    for i in range(width):
        for j in range(height):
            # H, S, V 값이 원하는 범위 안에 들어갈 경우 mask 원소 값을 1로 만든다
            if hsv[i, j, 0] > lower[color][0] and hsv[i, j, 1] > lower[color][1] and hsv[i, j, 2] > lower[color][2] and hsv[i, j, 0] < upper[color][0] and hsv[i, j, 1] < upper[color][1] and hsv[i, j, 2] < upper[color][2]:
                mask[i, j] = 1
                
    return mask

def Extraction(image, mask):
    # Object를 추출할 이미지를 생성
    result_img = np.array(image)

    # RGB 이미지의 width, height 저장
    width, height = image.shape[:2]

    # for 루프를 돌면서 mask 원소 값이 0인 인덱스는 원본 이미지도 0으로 만들어 준다.
    for i in range(width):
        for j in range(height):
            if(mask[i, j] == 0):
                result_img[i, j, 0] = 0
                result_img[i, j, 1] = 0
                result_img[i, j, 2] = 0
                
    return result_img


if __name__ == '__main__':
    # 마스크 색상 범위에 사용할 딕셔너리 정의
    upper = {}
    lower = {}

    upper['orange'] = [100, 1, 1]
    upper['blue'] = [300, 1, 1]
    upper['green'] = [180, 0.7, 0.5]

    lower['orange'] = [0, 0.7, 0.5]
    lower['blue'] = [70, 0.7, 0.2]
    lower['green'] = [101, 0.15, 0]

    # 이미지 파일을 읽어온다
    input_image = mping.imread('test2.jpg')

    # 추출하고 싶은 색상 입력
    input_color = input("추출하고 싶은 색상을 입력하세요 (orange, blue, green) : ")

    # RGB to HSV 변환
    HSV = RGB2HSV(input_image)

    # HSV 이미지를 가지고 마스크 생성
    mask = Mask(HSV, input_color)

    # mask를 가지고 원본이미지를 Object 추출 이미지로 변환
    result_image = Extraction(input_image, mask)

    #mping.imsave("result.jpg", result_image)

    # 이미지 보여주기
    imgplot = plt.imshow(result_image)

    plt.show()

 

결과물

- 마지막 파란색 색상은 직접 구현했을때는 정확히 검출되지 않았다.

- RGB to HSV 공식 구현에 문제가 있거나 아니면 색상 범위를 제대로 지정하지 못한 것 같은데 좀 더 수정이 필요하다.

 

참고사항

- OpenCV를 사용해서 읽어 들인 이미지를 matplotlib로 화면에 출력할 때, 출력한 색이 이상하게 나오는데 그 이유는 OpenCV에서는 컬러 이미지를 RGB가 아닌 BRG순서로 저장하는데 matplotlib에선 RGB 순서로 저장하기 때문이다. 따라서 matplotlib에서 출력할 때는 BRG를 RGB로 바꿔줘야 한다.

- H, S, V값을 찾는게 생각보다 힘들었다. 일일이 찾는 무식한 방법이 아니라 원하는 픽셀 색상의 H, S, V 값을 확인할 수 있게 만들어야 범위를 쉽게 정할 수 있을 것 같다. 

 

 

🤔