实现计算机视觉任务的过程中,不可避免地需要对图像进行读写操作以及图像预处理操作,下面介绍两个常用的Python图像处理库:OpenCV和Pillow。
OpenCV全称是由英特尔公司资助的开源计算机视觉库。
OpenCV是模块结构的,有以下主要模块。
作为Python2的第三方图像处理库是Pillow的前身。随着Python3的更新,PIL移植到Python3更名为Pillow。与OpenCV一样,Pillow也是模块结构,主要包括以下结构。
二值图像只有黑白两种颜色,如图所示。图像中的每个像素只能是黑或白,没有中间的过渡。因此二值图像的像素值只能为0或1,0表示黑色,1表示白色。
实际应用中常用的颜色空间很多,通常使用3个独立的变量对颜色进行描述,例如RGB、HSV、YUV等。
一个图像的不同的颜色空间是可以转换的,cv2.cvtColor可以实现颜色的转换。
• cv2.COLOR_BGR2GRAY
• cv2.COLOR_BGR2RGB
• cv2.COLOR_BGR2HSV
• cv2.COLOR_BGR2YUV
• cv2.COLOR_BGR2HLS
通过OpenCV库对数字图像进行处理时,涉及到的基础操作包括读取、显示、写出图像文件。
在OpenCV库中,图像数据是以NumPy数组的形式存在。
在python的OpenCV中,通过cv2.imread()函数读入图像数据,其基本使用格式如下。cv2.imread(filename, flags)
在默认情况下通过cv2.imread()
函数读入图像数据为3通道的彩色图,像素值为8位的非负整数,图像数据以NumPy中ndarray的方式存在。
如果定义了cv2.imread()读入模式为cv2.IMREAD_GRAYSCALE那么读入图像为单通道的灰度图。
需要注意的是,通过OpenCV读入彩色图像数据的颜色通道顺序为BGR(蓝、绿、红)并非常用的RGB(红、绿、蓝)顺序。
在OpenCV中,读取到的图像数组维度可以表示为:
(高,宽,通道数)即(height, width, channel)。OpenCV图像坐标与常规的数学坐标有区别,左上角位置为坐标原点。
• 在Windows【画图】工具中,帽檐红点坐标为(248, 102),但在OpenCV中像素位置应为(102, 248)。
• X轴 == 列位置 == 图像宽
• Y轴 == 行位置 == 图像高
import cv2 import matplotlib.pyplot as plt import numpy # 读写图像 img = cv2.imread(filename='lena.jpg', flags=cv2.IMREAD_GRAYSCALE) img.shape # (377, 373) img.dtype # dtype('uint8') # 图像展示 cv2.imshow(winname='lena', mat=img) cv2.waitKey(0) # 图像保存 cv2.imwrite(filename='test_img.jpg', img=img)
图像平移变换将一幅图像中的所有像素点都按照给定的偏移量在水平方向(沿x轴方向)或垂直方向(沿y轴方向)移动,是图像几何变换中较为简单的一种变换。
图像平移原理示意图如下图所示。
假设对点P_0 (x_0,y_0 )进行平移后得到点P(x,y),其中x方向的平移量为∆x,y方向的平移量为∆y ,则点P(x,y)的坐标如下式。
利用齐次坐标表示图像平移变换前后点P_0 (x_0,y_0 )到点P(x,y)的关系如下式所示。
实现步骤:
1. 定义平移变换矩阵: 例如:np.float32([[1,0,50], [0,1,100]])
• [1,0,50]表示在x轴方向移动50个单位
• [0,1,100]表示在y轴方向移动100个单位
2. 执行转换:cv2.warpAffine (src, M, dsize)
通过OpenCV实现图像平移操作,结果如下图所示,(a)为原图和(b)为平移后图像。
import cv2 import matplotlib.pyplot as plt import numpy as np img = cv2.imread('lena.jpg') height, width, channel = img.shape # 图像平移 # 1、定义平移变换矩阵 M = np.float32([[1,0,50], [0,1,100]]) # 2、执行平移变换 img_tran = cv2.warpAffine(src=img, M=M, dsize=(height, width)) cv2.imshow('image translation', img_tran) cv2.waitKey(0)
图像旋转(Rotation)是指图像以某一点为中心旋转一定的角度形成一幅新的图像的过程。通常是以图像的中心为圆心旋转,将图像中的所有像素点都旋转一个相同的角度。
图像旋转原理如图所示,将点(x_0,y_0)绕原点o顺时针旋转至点(x_1,y_1 ),其中a为旋转角,r为点(x_0,y_0 )到原点的距离, b为原点o到点(x_0,y_0 )的线段与x轴之间的夹角。在旋转过程中, r保持不变。
设旋转前,x_0、y_0的坐标分别为x_0=r cosb、y_0=r sinb,当旋转a角度后,坐标x_1、y_1的值分别如下式所示。
上式的矩阵的形式如下式所示。
实现步骤:
1. 计算旋转变换矩阵: cv2.getRotationMatrix2D (center, angle, scale)
2. 执行转换:cv2.warpAffine (src, M, dsize)
通过OpenCV实现图像旋转,得到的效果如图所示。
# 图像旋转 # 1、定义旋转变换矩阵 M = cv2.getRotationMatrix2D(center=(height*0.5, width*0.5), # 旋转的中心位置坐标 angle=45, # 旋转的角度 scale=0.8 # 缩放比例 ) # 2、执行旋转变换 img_rotation = cv2.warpAffine(img, M, dsize=(height,width)) cv2.imshow('image_rotation', img_rotation) cv2.waitKey(0)
图像比例缩放是指将给定的图像在x轴方向按比例缩放f_x倍,在y轴方向按比例缩放f_y倍,从而获得一幅新的图像。如果f_x=f_y,即x轴方向和y轴方向缩放的比率相同,此比例缩放为图像的全比例缩放。如果f_x≠f_y,那么图像的比例缩放会改变原始图像的像素间的相对位置,产生几何畸变。
在OpenCV中cv2.resize(src, dsize, fx, fy, interpolation)可以实现图像缩放。
具体实现图像缩放有多种插值方法,OpenCV的resize函数提供了如下5种常见方法。
• 最邻近插值:cv2.INTER_NEAREST
• 双线性插值:cv2.INTER_LINEAR
• 区域插值:cv2.INTER_AREA
• 三次样条插值:cv2.INTER_CUBIC
• Lanczos插值:cv2.INTER_LANCZOS4
# 图像缩放 # 1、直接指定缩放大小 img_res = cv2.resize(img, dsize=(244,244)) img_res.shape # (244, 244, 3) cv2.imshow('image_resize', img_res) cv2.waitKey(0) # 2、最近邻插值 img_near = cv2.resize(img, dsize=None, fx=1.5, fy=1, interpolation=cv2.INTER_NEAREST) cv2.imshow('img_near', img_near) cv2.waitKey(0)