目录

一.图像拼接案例

1.图像拼接项目介绍

2.核心步骤

①计算图片特征点及描述符

②匹配特征点，使用暴力匹配器

③筛选有效匹配

④计算透视变换矩阵

⑤应用变换和拼接

二.抠图案例

1.缩放旋转处理

2.转化为灰度图并二值化

3.找出所有轮廓，并在img的副本上画出

4.排序轮廓找到最大的扇子轮廓

5.创建掩膜

6.’与‘操作，完成抠图

---

一.图像拼接案例

1.图像拼接项目介绍

• 目标：将两张视角不同、角度倾斜的图片（如包含A/B/C物的图片）如下通过算法融合，使其在同一平面视角下呈现。
• 技术路径：
  • 使用SIFT特征提取两个图片中的关键点和描述符。
  • 采用暴力匹配器（bf_match）进行特征匹配，因其适用于特征点数量较少的场景。
  • 基于匹配结果计算并应用透视变换，最终完成两图拼接。

2.核心步骤

读取拼接图片        

def cv_show(name,img):cv2.imshow(name,img)cv2.waitKey(0)

#读取拼接图片
imageA=cv2.imread('1.jpg')
cv_show('imageA',imageA)
imageB=cv2.imread('2.jpg')
cv_show('imageB',imageB)

①计算图片特征点及描述符

使用SIFT算法从两张图片中提取关键点和描述符，利用BFMatcher进行暴力匹配，获得初步的点对匹配结果。

特征提取我们直接定义一个方法来实现

def detectAndDescribe(image):gray=cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)sift=cv2.SIFT_create()(kps,des)=sift.detectAndCompute(gray,None)kps_float=np.float32([kp.pt for kp in kps])return (kps,kps_float,des)

kps_float是特征点的坐标x和y的ndarray类型的数组

#计算图片特征点及描述符
(kpsA,kps_floatA,desA)=detectAndDescribe(imageA)
(kpsB,kps_floatB,desB)=detectAndDescribe(imageB)

②匹配特征点，使用暴力匹配器

#建立暴力匹配器
matcher=cv2.BFMatcher()
rawMatches=matcher.knnMatch(desB,desA,k=2)

③筛选有效匹配

通过设定距离阈值（如近点距离小于远点距离的65%）筛选出可靠的匹配点。

good=[]
matches=[]
for m in rawMatches:if len(m)==2 and m[0].distance<0.65*m[1].distance:good.append(m)matches.append((m[0].queryIdx,m[0].trainIdx))
print(len(good))
print(matches)31
[(14, 76), (36, 105), (39, 105), (63, 118), (65, 121), (66, 122), (74, 130), (83, 128), (87, 136), (93, 140), (105, 147), (118, 172), (138, 176), (154, 191), (155, 192), (158, 198), (164, 213), (165, 206), (176, 217), (185, 227), (201, 242), (202, 243), (204, 246), (207, 250), (209, 255), (212, 257), (217, 7), (228, 275), (229, 276), (231, 275), (233, 276)]

good存放匹配成功的最近点和次近点相关信息

matches用来存放desA特征图片的匹配成功特征点索引和desB特征图片的匹配成功特征点索引的元组

画出两幅图之间的特征点对应联系

vis=cv2.drawMatchesKnn(imageB,kpsB,imageA,kpsA,good,None,flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
cv_show('Keypoint Matches',vis)

④计算透视变换矩阵

利用筛选出的核心特征点，计算出变换矩阵H，使得一张图片能精确地“变形”到与另一张图片相同的视角平面上。

#透视变换
if len(matches)>4:#当筛选后的匹配对大于4时,计算视角变换矩阵#获取匹配对的点坐标ptsB=np.float32([kps_floatB[i] for (i,_) in matches])ptsA=np.float32([kps_floatA[i] for (_,i) in matches])(H,mask)=cv2.findHomography(ptsB,ptsA,cv2.RANSAC,10)
else:print('图片未找到四个以上的匹配点')sys.exit()

注意点数范围（至少4个）

mask数组用于标识内点与外点。

⑤应用变换和拼接

变换，这里图片的宽度我们使用土图片A和图片B的宽度和方便后面直接将A图片拼接上来

result=cv2.warpPerspective(imageB,H,(imageB.shape[1]+imageA.shape[1],imageB.shape[0]))
cv_show('resultB',result)

拼接，将图片A传入result图片最左端

#将图片A传入result图片最左端
result[0:imageA.shape[0],0:imageA.shape[1]]=imageA
cv_show('result',result)
cv2.imwrite('pingjie.jpg',result)

二.抠图案例

实现只将图中的扇子抠图出来，核心技术用到掩膜

1.缩放旋转处理

import cv2
import numpy as npimg=cv2.imread('img.jpg')
img=cv2.resize(img,(640,480))
img=np.rot90(img,1)
cv2.imshow('img',img)

2.转化为灰度图并二值化

这里我们没有使用阈值的方法来二值化而是使用Canny()边缘检测实现二值化

gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
edged=cv2.Canny(gray,75,200)
cv2.imshow('edged',edged)
cv2.waitKey(0)

3.找出所有轮廓，并在img的副本上画出

cnts=cv2.findContours(edged.copy(),cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)[-2]
cv2.drawContours(img_cnts,cnts,-1,(0,0,255),2)
cv2.imshow('img_cnts',img_cnts)
cv2.waitKey(0)

4.排序轮廓找到最大的扇子轮廓

cnt=sorted(cnts,key=cv2.contourArea,reverse=True)[0]

5.创建掩膜

先创建和eddged图片等大的全黑掩膜，再根据扇子的轮廓把掩膜中该部分变成白色

mask = np.zeros(edged.shape, dtype='uint8')
cv2.drawContours(mask, [cnt], -1, 255, -1)  # -1表示填充
cv2.imshow('mask',mask)
cv2.waitKey(0)

6.’与‘操作，完成抠图

img_mask_and=cv2.bitwise_and(img,img,mask=mask)
cv2.imshow('img_mask_and',img_mask_and)
cv2.waitKey(0)

cv2.bitwise_and(img,img,mask=mask)会指将掩膜中白色的部分显示出来