使用 OpenCV 替换图像的背景

易百纳技术社区 2021-02-09 14:27:57 5531

一. 业务背景

在我们的某项业务中,需要通过自研的智能硬件“自动化”地拍摄一组组手机的照片,这些照片有时候因为光照的因素需要考虑将背景的颜色整体替换掉,然后再呈现给 C 端用户。这时就有背景替换的需求了。
二. 技术实现

使用 OpenCV ,通过传统的图像处理来实现这个需求。
方案一:

首先想到的是使用 K-means 分离出背景色。
大致的步骤如下:
将二维图像数据线性化
使用 K-means 聚类算法分离出图像的背景色
将背景与手机二值化
使用形态学的腐蚀,高斯模糊算法将图像与背景交汇处高斯模糊化
替换背景色以及对交汇处进行融合处理
k-平均算法(英文:k-means clustering)源于信号处理中的一种向量量化方法,现在则更多地作为一种聚类分析方法流行于数据挖掘领域。k-平均聚类的目的是:把 n 个点(可以是样本的一次观察或一个实例)划分到k个聚类中,使得每个点都属于离他最近的均值(此即聚类中心)对应的聚类,以之作为聚类的标准。这个问题将归结为一个把数据空间划分为Voronoi cells的问题。
K-means 算法思想为:给定n个数据点{x1,x2,…,xn},找到K个聚类中心{a1,a2,…,aK},使得每个数据点与它最近的聚类中心的距离平方和最小,并将这个距离平方和称为目标函数,记为Wn,其数学表达式为:

K-means 算法基本流程:
初始的 K 个聚类中心。
按照距离聚类中心的远近对所有样本进行分类。
重新计算聚类中心,判断是否退出条件:两次聚类中心的距离足够小视为满足退出条件;不退出则重新回到步骤2。
int main() {

Mat src = imread("test.jpg");
if (src.empty()) {
    printf("could not load image...\n");
    return -1;
}
imshow("origin", src);

// 将二维图像数据线性化
Mat data;
for (int i = 0; i < src.rows; i++) {//像素点线性排列
    for (int j = 0; j < src.cols; j++)
    {
        Vec3b point = src.at<Vec3b>(i, j);
        Mat tmp = (Mat_<float>(1, 3) << point[0], point[1], point[2]);
        data.push_back(tmp);
    }
}

// 使用K-means聚类
int numCluster = 4;
Mat labels;
TermCriteria criteria = TermCriteria(TermCriteria::EPS + TermCriteria::COUNT, 10, 0.1);
kmeans(data, numCluster, labels, criteria, 4, KMEANS_PP_CENTERS);

// 背景与手机二值化
Mat mask = Mat::zeros(src.size(), CV_8UC1);
int index = src.rows * 2 + 2;  //获取点(2,2)作为背景色
int cindex = labels.at<int>(index);
/*  提取背景特征 */
for (int row = 0; row < src.rows; row++) {
    for (int col = 0; col < src.cols; col++) {
        index = row * src.cols + col;
        int label = labels.at<int>(index);
        if (label == cindex) { // 背景
            mask.at<uchar>(row, col) = 0;
        }
        else {
            mask.at<uchar>(row, col) = 255;
        }
    }
}
imshow("mask", mask);

// 腐蚀 + 高斯模糊:图像与背景交汇处高斯模糊化
Mat k = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
erode(mask, mask, k);
GaussianBlur(mask, mask, Size(3, 3), 0, 0);

// 更换背景色以及交汇处融合处理
RNG rng(12345);
Vec3b color;  //设置的背景色
color[0] = 255;//rng.uniform(0, 255);
color[1] = 255;// rng.uniform(0, 255);
color[2] = 255;// rng.uniform(0, 255);
Mat result(src.size(), src.type());

double w = 0.0;   //融合权重
int b = 0, g = 0, r = 0;
int b1 = 0, g1 = 0, r1 = 0;
int b2 = 0, g2 = 0, r2 = 0;

for (int row = 0; row < src.rows; row++) {
    for (int col = 0; col < src.cols; col++) {
        int m = mask.at<uchar>(row, col);
        if (m == 255) {
            result.at<Vec3b>(row, col) = src.at<Vec3b>(row, col); // 前景
        }
        else if (m == 0) {
            result.at<Vec3b>(row, col) = color; // 背景
        }
        else {/* 融合处理部分 */
            w = m / 255.0;
            b1 = src.at<Vec3b>(row, col)[0];
            g1 = src.at<Vec3b>(row, col)[1];
            r1 = src.at<Vec3b>(row, col)[2];

            b2 = color[0];
            g2 = color[1];
            r2 = color[2];

            b = b1 * w + b2 * (1.0 - w);
            g = g1 * w + g2 * (1.0 - w);
            r = r1 * w + r2 * (1.0 - w);

            result.at<Vec3b>(row, col)[0] = b;
            result.at<Vec3b>(row, col)[1] = g;
            result.at<Vec3b>(row, col)[2] = r;
        }
    }
}
imshow("final", result);

waitKey(0);
return 0;

}

方案二:

方案一的算法并不是对所有手机都有效,对于一些浅色的、跟背景颜色相近的手机,该算法会比较无能为力。

于是换一个思路:
使用 USM 锐化算法对图像增强
再用纯白色的图片作为背景图,和锐化之后的图片进行图像融合。
图像锐化是使图像边缘更加清晰的一种图像处理方法。
USM(Unsharpen Mask) 锐化的算法就是对原图像先做一个高斯模糊,然后用原来的图像减去一个系数乘以高斯模糊之后的图像,然后再把值 Scale 到0~255的 RGB 素值范围之内。基于 USM 锐化的算法可以去除一些细小的干扰细节和噪声,比一般直接使用卷积锐化算子得到的图像锐化结果更加真实可信。
int main() {
Mat src = imread("./test.jpg");
if (src.empty()) {
printf("could not load image...\n");
return -1;
}
namedWindow("src", WINDOW_AUTOSIZE);
imshow("origin", src);

Mat blur_img, usm;
GaussianBlur(src, blur_img, Size(0, 0), 25);
addWeighted(src, 1.5, blur_img, -0.5, 0, usm);
imshow("usm", usm);

Mat roi = Mat(Size(src.cols,src.rows), CV_8UC3, Scalar(255, 255, 255));

Mat dst;
addWeighted(usm, 1.275, roi, 0.00015, 0, dst);

imshow("final", dst);

waitKey(0);
return 0;

}
其中,addWeighted 函数是将两张大小相同、类型相同的图片进行融合。数学公式如下:

三. 总结

其实,我尝试过用 OpenCV 多种方式实现该功能,也尝试过使用深度学习实现。目前还没有最满意的效果。后续,我会更偏向于使用深度学习来实现该功能。

来源:opencv学堂

声明:本文内容由易百纳平台入驻作者撰写,文章观点仅代表作者本人,不代表易百纳立场。如有内容侵权或者其他问题,请联系本站进行删除。
红包 99 7 评论 打赏
评论
0个
内容存在敏感词
手气红包
    易百纳技术社区暂无数据
相关专栏
置顶时间设置
结束时间
删除原因
  • 广告/SPAM
  • 恶意灌水
  • 违规内容
  • 文不对题
  • 重复发帖
打赏作者
易百纳技术社区
易百纳技术社区
您的支持将鼓励我继续创作!
打赏金额:
¥1易百纳技术社区
¥5易百纳技术社区
¥10易百纳技术社区
¥50易百纳技术社区
¥100易百纳技术社区
支付方式:
微信支付
支付宝支付
易百纳技术社区微信支付
易百纳技术社区
打赏成功!

感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~

举报反馈

举报类型

  • 内容涉黄/赌/毒
  • 内容侵权/抄袭
  • 政治相关
  • 涉嫌广告
  • 侮辱谩骂
  • 其他

详细说明

审核成功

发布时间设置
发布时间:
是否关联周任务-专栏模块

审核失败

失败原因
备注
拼手气红包 红包规则
祝福语
恭喜发财,大吉大利!
红包金额
红包最小金额不能低于5元
红包数量
红包数量范围10~50个
余额支付
当前余额:
可前往问答、专栏板块获取收益 去获取
取 消 确 定

小包子的红包

恭喜发财,大吉大利

已领取20/40,共1.6元 红包规则

    易百纳技术社区