在图像处理与计算机视觉领域，透视变换（Perspective Transformation）是一种强大的工具，它模拟了人眼或相机镜头观看三维空间物体时的透视效果，从而改变图像的视角和形状。本文将详细介绍透视变换的原理、应用场景以及如何使用OpenCV库来实现它。
透视变换的原理
透视变换是一种非线性变换，它可以将一个二维坐标系中的点映射到三维坐标系中的点，然后再将其投影到另一个二维坐标系中的点。这种变换基于几何学中的透视原理，通过一个3x3的变换矩阵来实现。该矩阵作用于图像的每个像素坐标，从而进行坐标的映射转换。
对于原始图像中的每个像素 (x, y)，首先将其表示为齐次坐标形式 (x, y, 1)。然后，将这个齐次坐标与透视变换矩阵相乘，得到新的齐次坐标 (x', y', w')。最后，通过归一化处理，即将新的齐次坐标除以 w'，得到最终的图像坐标 (x'/w', y'/w')。
应用场景
透视变换在图像处理和计算机视觉领域有着广泛的应用，包括但不限于以下几个方面：
- 图像校正：将倾斜的文档图像校正为水平状态，便于后续的OCR识别或文本提取。
- 图像拼接：在全景图像拼接中，通过透视变换将不同视角的图像对齐并拼接在一起。
- 3D重建：在三维重建过程中，通过透视变换将二维图像中的特征点映射到三维空间中。
- 增强现实：在AR应用中，通过透视变换将虚拟物体与真实场景融合，实现逼真的视觉效果。
- 图像读取和缩放：
- 使用
cv2.imread()读取图像。 - 如果图像过大，通过
resize()函数将图像的高度调整为500像素，保持图像的宽高比不变。
- 使用
- 轮廓检测：
- 将图像转换为灰度图。
- 使用Otsu阈值进行二值化处理，以突出轮廓。
- 通过
cv2.findContours()找到所有的轮廓。 - 绘制所有轮廓到图像上，并显示。
- 获取最大轮廓并进行透视变换：
- 根据轮廓面积排序，选择最大的轮廓。
- 对最大轮廓进行近似处理，使其更加平滑（通常用于四边形检测）。
- 由于在轮廓检测时使用的是缩小后的图像，因此在进行透视变换前需要将轮廓坐标乘以缩放比例
ratio，以恢复到原图尺寸。 - 使用
four_point_transform()函数对原图进行透视变换，以校正图像中的四边形区域。
- 二值化和形态学操作：
- 对透视变换后的图像进行二值化处理，以便进一步处理。
- 使用形态学闭操作（
cv2.morphologyEx()）来填充图像中的小黑洞或小黑点，使得文字更加清晰。
- 图像旋转：
- 对二值化和形态学处理后的图像进行旋转。（如果需要）
- 显示旋转后的图像。
import numpy as np
import cv2def cv_show(name, img):cv2.imshow(name, img)cv2.waitKey(0)def order_points(pts):# 一共4个坐标点rect = np.zeros((4, 2), dtype="float32") # 用来存储排序之后的坐标位置# 按顺序找到对应华标0123分别是左上，右上，右下，左下s = pts.sum(axis=1) # 对pts矩阵的每一行进行求和操作。(x+y)rect[0] = pts[np.argmin(s)]rect[2] = pts[np.argmax(s)]diff = np.diff(pts, axis=1) # 对pts矩阵的每一行进行求差操作。(y-x)rect[1] = pts[np.argmin(diff)]rect[3] = pts[np.argmax(diff)]return rectdef four_point_transform(image, pts):# 获取输入坐标点rect = order_points(pts)(tl, tr, br, bl) = rect# 计算输入的w和h 值widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))maxWidth = max(int(widthA), int(widthB))heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))maxHeight = max(int(heightA), int(heightB))# 变换后对应坐标位置dst = np.array([[0, 0], [maxWidth - 1, 0],[maxWidth - 1, maxHeight - 1], [0, maxHeight - 1]], dtype="float32")# 图像透视变换 cv2.getPerspectiveTransform(src,dst[,solveMethod])→ MP获得转换之间的关系# cy2.warpPerspective(src, Mp, dsizel, dstl, flagsl, borderModel, borderValue]]1])- dst# 参数说明:# src:变换前图像四边形顶点坐标/第2个是原图# MP:透视变换矩阵，3行3列# dsize:输出图像的大小，二元元组(width，heiqht)M = cv2.getPerspectiveTransform(rect, dst)warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))# 返回变换后结果return warpeddef resize(image, width=None, height=None, inter=cv2.INTER_AREA):dim = None(h, w) = image.shape[:2]if width is None and height is None:return imageif width is None:r = height / float(h)dim = (int(w * r), height)else:r = width / float(w)dim = (width, int(h * r))resized = cv2.resize(image, dim, interpolation=inter) # 默认为cv2.INTER_AREA，即面积插值，适用于缩放图像。return resizedimage = cv2.imread('fapiao.jpg')
cv_show('image', image)
# 图片过大，进行缩小处理
ratio = image.shape[0] / 500.0 # 计算缩小比率
orig = image.copy()
image = resize(orig, height=500)
cv_show('1', image)# 轮廓检测
print("STEP 1:轮廓检测")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) # 读取灰度图edged = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1] # 自动寻找
cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[1]
image_contours = cv2.drawContours(image.copy(), cnts, -1, (0, 0, 255), 1)
cv_show('image_contours', image_contours)print("STEP 2:获取最大轮廓")
screenCnt = sorted(cnts, key=cv2.contourArea, reverse=True)[0] # 获取面积最大的轮廓
peri = cv2.arcLength(screenCnt, True) # 计算轮廓周长
screenCnt = cv2.approxPolyDP(screenCnt, 0.02 * peri, True) # 轮廓近似
image_contour = cv2.drawContours(image.copy(), [screenCnt], -1, (0, 255, 0), 2)cv2.imshow("image_contour", image_contour)
cv2.waitKey(0)# 透视变换
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)
cv2.imwrite('invoice_new.jpg', warped)
cv2.namedWindow('xx', cv2.WINDOW_NORMAL)
cv2.imshow('xx', warped)
cv2.waitKey(0)a = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)kernel =np.ones((2,2),np.uint8)
ref_new=cv2.morphologyEx(a, cv2.MORPH_CLOSE, kernel)#
ref_new=resize(ref_new.copy(),width=500)
cv_show('yy',ref_new)
rotated_image = cv2.rotate(ref_new, cv2.ROTATE_90_COUNTERCLOCKWISE)
cv2.imshow("result",rotated_image)
cv2.waitKey(0)原图：
处理后：
