随着人脸识别技术的普及，人脸数据的隐私问题也得到越来越多关注，针对隐私保护的研究也陆续出现。目前大致有下面几个方向
本文主要讲第 3 点，讲讲怎么使用移动端人脸关键点算法实现人脸匿名功能。这种方法对设备要求低，代码简单易懂，修改后就可直接落地。
下图就是最终想实现的功能
人脸关键点检测是人脸相关算法中的关键一环，它是人脸识别、表情分析、3D 人脸重建，表情驱动 3D 动画等一系列人脸相关问题的前提。
我们将使用 TengineKit 来实现人脸匿名功能
免费移动端实时人脸 212 关键点 SDK 。是一个易于集成的人脸检测和人脸关键点 SDK 。它可以在各种手机上以非常低的延迟运行。
https://github.com/OAID/TengineKit
Project 中的 build.gradle 添加
repositories {
...
mavenCentral()
...
}
allprojects {
repositories {
...
mavenCentral()
...
}
}
主 Module 中的 build.gradle 添加
dependencies {
...
implementation 'com.tengine.android:tenginekit:1.0.3'
...
}
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<uses-permission android:name="android.permission.INTERNET"/>
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE"/>
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/>
<uses-permission android:name="android.permission.READ_PHONE_STATE"/>
<uses-permission android:name="android.permission.CAMERA"/>
<uses-permission android:name="android.permission.FLASHLIGHT" />
<uses-feature android:name = "android.hardware.camera" android:required="true"/>
<uses-feature android:name = "android.hardware.camera.autofocus" />
为 App 创建自定义摄像头界面的步骤如下：
我们先 new 一个 TextureView.SurfaceTextureListener，在里面完成 camera 的初始配置，当 TextureView 可用的时候，onSurfaceTextureAvailable 中的代码将被调用
private final TextureView.SurfaceTextureListener surfaceTextureListener = new TextureView.SurfaceTextureListener() {
@Override
public void onSurfaceTextureAvailable(final SurfaceTexture texture, final int width, final int height) {
int index = getCameraId();
camera = Camera.open(index);
try {
Camera.Parameters parameters = camera.getParameters();
List<String> focusModes = parameters.getSupportedFocusModes();
if (focusModes != null && focusModes.contains(Camera.Parameters.FOCUS_MODE_CONTINUOUS_PICTURE)) {
parameters.setFocusMode(Camera.Parameters.FOCUS_MODE_CONTINUOUS_PICTURE);
}
List<Camera.Size> cameraSizes = parameters.getSupportedPreviewSizes();
Size[] sizes = new Size[cameraSizes.size()];
int i = 0;
for (Camera.Size size : cameraSizes) {
sizes[i++] = new Size(size.width, size.height);
}
Size previewSize = CameraConnectionFragment.chooseOptimalSize(sizes, desiredSize.getWidth(), desiredSize.getHeight());
parameters.setPreviewSize(previewSize.getWidth(), previewSize.getHeight());
camera.setDisplayOrientation(90);
camera.setParameters(parameters);
camera.setPreviewTexture(texture);
} catch (IOException exception) {
camera.release();
}
camera.setPreviewCallbackWithBuffer(imageListener);
Camera.Size s = camera.getParameters().getPreviewSize();
camera.addCallbackBuffer(new byte[ImageUtils.getYUVByteSize(s.height, s.width)]);
textureView.setAspectRatio(s.height, s.width);
camera.startPreview();
}
@Override
public void onSurfaceTextureSizeChanged(final SurfaceTexture texture, final int width, final int height) {
}
@Override
public boolean onSurfaceTextureDestroyed(final SurfaceTexture texture) {
return true;
}
@Override
public void onSurfaceTextureUpdated(final SurfaceTexture texture) {
}
};
此处将 textureView 和 camera 联系起来
textureView.setSurfaceTextureListener(surfaceTextureListener);
当 camera 启动预览，textureView 得到真实的 size 后。我们得到了 camera 的输出视频流的宽高和预览 textureView，将其保存起来，后续有用到。
textureView.setRealSizeListener(new AutoFitTextureView.RealSizeListener() {
@Override
public void onRealSizeMeasure(int w, int h) {
if(!isReady){
isReady = true;
Camera.Size s = camera.getParameters().getPreviewSize();
cameraReadyListener.onCameraReady(
s.width, s.height,w, h
);
}
}
});
首先我们先初始化 TengineKit:
com.tenginekit.Face.init(getBaseContext(),
AndroidConfig.create()
.setCameraMode()
.openFunc(AndroidConfig.Func.Detect)
.openFunc(AndroidConfig.Func.Landmark)
.setInputImageFormat(AndroidConfig.ImageFormat.YUV_NV21)
.setInputImageSize(previewWidth, previewHeight)
.setOutputImageSize(outputWidth, outputHeight)
);
com.tenginekit.Face.Camera.switchCamera(false);
处理数据
int degree = CameraEngine.getInstance().getCameraOrientation(sensorEventUtil.orientation);
com.tenginekit.Face.Camera.setRotation(degree - 90, false,
outputWidth, outputHeight);
com.tenginekit.Face.FaceDetect faceDetect = Face.detect(data);
faceLandmarks = null;
if(faceDetect.getFaceCount() > 0){
faceLandmarks = faceDetect.landmark2d();
}
这里使用 Android 的 bitmap 来实现功能，这种做法比较粗糙，性能差，但是简单易懂，如果读者有兴趣可以使用 OpenGLES 来实现此功能。
if(testBitmap != null){
testBitmap.recycle();
}
testBitmap = Face.Image.convertCameraYUVData(
data,
previewWidth, previewHeight,
outputWidth, outputHeight,
- 90,
true);
for(Bitmap bitmap : testFaceBitmaps){
bitmap.recycle();
}
testFaceBitmaps.clear();
if(testBitmap != null && faceDetect.getFaceCount() > 0){
if(faceLandmarks != null){
for (int i = 0; i < faceLandmarks.size(); i++) {
Bitmap face = BitmapUtils.getDstArea(testBitmap, faceLandmarks.get(i).getBoundingBox());
face = BitmapUtils.blurByGauss(face, 50);
testFaceBitmaps.add(face);
}
}
}
runInBackground(new Runnable() {
@Override
public void run() {
trackingOverlay.postInvalidate();
}
});
trackingOverlay 为定制的 view，将 canvas 暴露出来用于画 bitmap
trackingOverlay.addCallback(new OverlayView.DrawCallback() {
@Override
public void drawCallback(final Canvas canvas) {
if(testBitmap != null){
canvas.drawBitmap(testBitmap, 0,0, circlePaint);
}
if(faceLandmarks != null){
for (int i = 0; i < faceLandmarks.size(); i++) {
Rect r = faceLandmarks.get(i).getBoundingBox();
canvas.drawRect(r, circlePaint);
canvas.drawBitmap(testFaceBitmaps.get(i), r.left, r.top, circlePaint);
}
}
}
});
https://github.com/OAID/TengineKit
https://github.com/jiangzhongbo/TengineKit_Demo_Identity_Protection
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.