Open qmsggg opened 6 years ago
文章目录
Android Camera 相关API也是Android生态碎片化最为严重的一块,首先Android本身就有两套API,Android 5.0以下的Camera和Android 5.0以上的Camera2,而且 更为严重的时,各家手机厂商都Camera2的支持程度也各不相同,这就导致我们在相机开发中要花费很大精力来处理兼容性问题。
相机开发的一般流程是什么样的?🤔
相机开发一般需要注意哪些问题?🤔
关于Camera/Camear2
既然要解决这种兼容性问题,就要两套并用,那是不是根据版本来选择:Android 5.0 以下用Camera,Android 5.0以上用Camera2呢?🤔
事实上,这样是不可取的。前面说过不同手机厂商对Camera2的支持程度各不相同,即便是Android 5.0 以上的手机,也存在对Camera2支持非常差的情况,这个时候就要降级使用Camera,如何判断对Camera的支持 程度我们下面会说。
关于SurfaceView/TextureView
更多关于SurfaceView与TextureView区别的内容可以参考这篇文章Android 5.0(Lollipop)中的SurfaceTexture,TextureView, SurfaceView和GLSurfaceView.
那么如何针对版本进行方案的选择呢?🤔
官方的开源库cameraview给出了方案:
既然要两套并用,就要定义统一的接口,针对不同场景提供不同的实现,使用的时候也是根据不同的场景来创建不同的实例。
我们不难发现,这个接口一般需要定义以下功能:
定义好了接口,我们就有了思路,针对相机的具体特性实现相应的方案,那么另一个问题就出来了,相机在日常开发中一般作为一个SDK的形式存在供各个业务方调用,那么如何设计 出一个功能与UI相分离,高度可定制的相机SDK呢?🤔
答案就是利用Fragment,将各种点击事件(点击拍照、点击切换摄像头、点击切换闪光模式等)对应的功能封装在Fragment里,业务方在用的时候可以在Fragment之上蒙一层 UI(当然我们也需要提供默认的实现),这样就可以让功能和UI相分离,集成起来也非常的简便。
相机SDK框架图如下所示:
phoenix项目最新版本已经实现了这套方案,效果图如下所示:
理解了整体的架构,我们接着就来分析针对这套架构,Camera/Camera2分别该如何实现。
Camera API中主要涉及以下几个关键类:
SurfaceView和普通的View相比有什么区别呢?🤔
普通View都是共享一个Surface的,所有的绘制也都在UI线程中进行,因为UI线程还要处理其他逻辑,因此对View的更新速度和绘制帧率无法保证。这显然不适合相机实时 预览这种情况,因而SurfaceView持有一个单独的Surface,它负责管理这个Surface的格式、尺寸以及显示位置,它的Surface绘制也在单独的线程中进行,因而拥有更高 的绘制效率和帧率。
SurfaceHolder.Callback接口里定义了三个函数:
打开相机之前我们需要先获取系统相机的相关信息。
//有多少个摄像头
numberOfCameras = Camera.getNumberOfCameras();
for (int i = 0; i < numberOfCameras; ++i) {
final Camera.CameraInfo cameraInfo = new Camera.CameraInfo();
Camera.getCameraInfo(i, cameraInfo);
//后置摄像头
if (cameraInfo.facing == Camera.CameraInfo.CAMERA_FACING_BACK) {
faceBackCameraId = i;
faceBackCameraOrientation = cameraInfo.orientation;
}
//前置摄像头
else if (cameraInfo.facing == Camera.CameraInfo.CAMERA_FACING_FRONT) {
faceFrontCameraId = i;
faceFrontCameraOrientation = cameraInfo.orientation;
}
}
知道了相机相关信息,就可以通过相机ID打开相机了。
camera = Camera.open(cameraId);
另外,打开相机以后你会获得一个Camera对象,从这个对象里可以获取和设置相机的各种参数信息。
//获取相机参数
camera.getParameters();
//设置相机参数
camera.getParameters();
常见的参数有以下几种。
闪光灯配置参数,可以通过Parameters.getFlashMode()接口获取。
对焦模式配置参数,可以通过Parameters.getFocusMode()接口获取。
场景模式配置参数,可以通过Parameters.getSceneMode()接口获取。
关闭相机很简单,只需要把相机释放掉就可以了。
camera.release();
Camera的预览时通过SurfaceView的SurfaceHolder进行的,先通过,具体说来:
private void startPreview(SurfaceHolder surfaceHolder) {
try {
final Camera.CameraInfo cameraInfo = new Camera.CameraInfo();
Camera.getCameraInfo(currentCameraId, cameraInfo);
int cameraRotationOffset = cameraInfo.orientation;
//获取相机参数
final Camera.Parameters parameters = camera.getParameters();
//设置对焦模式
setAutoFocus(camera, parameters);
//设置闪光模式
setFlashMode(mCameraConfigProvider.getFlashMode());
if (mCameraConfigProvider.getMediaAction() == CameraConfig.MEDIA_ACTION_PHOTO
|| mCameraConfigProvider.getMediaAction() == CameraConfig.MEDIA_ACTION_UNSPECIFIED)
turnPhotoCameraFeaturesOn(camera, parameters);
else if (mCameraConfigProvider.getMediaAction() == CameraConfig.MEDIA_ACTION_PHOTO)
turnVideoCameraFeaturesOn(camera, parameters);
final int rotation = ((WindowManager) mContext.getSystemService(Context.WINDOW_SERVICE)).getDefaultDisplay().getRotation();
int degrees = 0;
switch (rotation) {
case Surface.ROTATION_0:
degrees = 0;
break; // Natural orientation
case Surface.ROTATION_90:
degrees = 90;
break; // Landscape left
case Surface.ROTATION_180:
degrees = 180;
break;// Upside down
case Surface.ROTATION_270:
degrees = 270;
break;// Landscape right
}
//根据前置与后置摄像头的不同,设置预览方向,否则会发生预览图像倒过来的情况。
if (cameraInfo.facing == Camera.CameraInfo.CAMERA_FACING_FRONT) {
displayRotation = (cameraRotationOffset + degrees) % 360;
displayRotation = (360 - displayRotation) % 360; // compensate
} else {
displayRotation = (cameraRotationOffset - degrees + 360) % 360;
}
this.camera.setDisplayOrientation(displayRotation);
if (Build.VERSION.SDK_INT > 13
&& (mCameraConfigProvider.getMediaAction() == CameraConfig.MEDIA_ACTION_VIDEO
|| mCameraConfigProvider.getMediaAction() == CameraConfig.MEDIA_ACTION_UNSPECIFIED)) {
// parameters.setRecordingHint(true);
}
if (Build.VERSION.SDK_INT > 14
&& parameters.isVideoStabilizationSupported()
&& (mCameraConfigProvider.getMediaAction() == CameraConfig.MEDIA_ACTION_VIDEO
|| mCameraConfigProvider.getMediaAction() == CameraConfig.MEDIA_ACTION_UNSPECIFIED)) {
parameters.setVideoStabilization(true);
}
//设置预览大小
parameters.setPreviewSize(previewSize.getWidth(), previewSize.getHeight());
parameters.setPictureSize(photoSize.getWidth(), photoSize.getHeight());
//设置相机参数
camera.setParameters(parameters);
//设置surfaceHolder
camera.setPreviewDisplay(surfaceHolder);
//开启预览
camera.startPreview();
} catch (IOException error) {
Log.d(TAG, "Error setting camera preview: " + error.getMessage());
} catch (Exception ignore) {
Log.d(TAG, "Error starting camera preview: " + ignore.getMessage());
}
}
关闭预览很简单,直接调用camera.stopPreview()即可。
camera.stopPreview();
拍照时通过调用Camera的takePicture()方法来完成的,
takePicture(ShutterCallback shutter, PictureCallback raw, PictureCallback postview, PictureCallback jpeg)
该方法有三个参数:
我们一般用的就是最后一个,实现最后一个PictureCallback即可。
camera.takePicture(null, null, new Camera.PictureCallback() {
@Override
public void onPictureTaken(byte[] bytes, Camera camera) {
//存储返回的图像数据
final File pictureFile = outputPath;
if (pictureFile == null) {
Log.d(TAG, "Error creating media file, check storage permissions.");
return;
}
try {
FileOutputStream fileOutputStream = new FileOutputStream(pictureFile);
fileOutputStream.write(bytes);
fileOutputStream.close();
} catch (FileNotFoundException error) {
Log.e(TAG, "File not found: " + error.getMessage());
} catch (IOException error) {
Log.e(TAG, "Error accessing file: " + error.getMessage());
} catch (Throwable error) {
Log.e(TAG, "Error saving file: " + error.getMessage());
}
}
});
拍照完成后如果还要继续拍照则调用camera.startPreview()继续开启预览,否则关闭预览,释放相机资源。
视频的录制时通过MediaRecorder来完成的。
if (prepareVideoRecorder()) {
mediaRecorder.start();
isVideoRecording = true;
uiHandler.post(new Runnable() {
@Override
public void run() {
videoListener.onVideoRecordStarted(videoSize);
}
});
}
MediaRecorder主要用来录制音频和视频,在使用之前要进行初始化和相关参数的设置,如下所示:
protected boolean preparemediaRecorder() {
mediaRecorder = new MediaRecorder();
try {
mediaRecorder.setAudioSource(MediaRecorder.AudioSource.CAMCORDER);
mediaRecorder.setVideoSource(MediaRecorder.VideoSource.SURFACE);
//输出格式
mediaRecorder.setOutputFormat(camcorderProfile.fileFormat);
//视频帧率
mediaRecorder.setVideoFrameRate(camcorderProfile.videoFrameRate);
//视频大小
mediaRecorder.setVideoSize(videoSize.getWidth(), videoSize.getHeight());
//视频比特率
mediaRecorder.setVideoEncodingBitRate(camcorderProfile.videoBitRate);
//视频编码器
mediaRecorder.setVideoEncoder(camcorderProfile.videoCodec);
//音频编码率
mediaRecorder.setAudioEncodingBitRate(camcorderProfile.audioBitRate);
//音频声道
mediaRecorder.setAudioChannels(camcorderProfile.audioChannels);
//音频采样率
mediaRecorder.setAudioSamplingRate(camcorderProfile.audioSampleRate);
//音频编码器
mediaRecorder.setAudioEncoder(camcorderProfile.audioCodec);
File outputFile = outputPath;
String outputFilePath = outputFile.toString();
//输出路径
mediaRecorder.setOutputFile(outputFilePath);
//设置视频输出的最大尺寸
if (mCameraConfigProvider.getVideoFileSize() > 0) {
mediaRecorder.setMaxFileSize(mCameraConfigProvider.getVideoFileSize());
mediaRecorder.setOnInfoListener(this);
}
//设置视频输出的最大时长
if (mCameraConfigProvider.getVideoDuration() > 0) {
mediaRecorder.setMaxDuration(mCameraConfigProvider.getVideoDuration());
mediaRecorder.setOnInfoListener(this);
}
mediaRecorder.setOrientationHint(getVideoOrientation(mCameraConfigProvider.getSensorPosition()));
//准备
mediaRecorder.prepare();
return true;
} catch (IllegalStateException error) {
Log.e(TAG, "IllegalStateException preparing MediaRecorder: " + error.getMessage());
} catch (IOException error) {
Log.e(TAG, "IOException preparing MediaRecorder: " + error.getMessage());
} catch (Throwable error) {
Log.e(TAG, "Error during preparing MediaRecorder: " + error.getMessage());
}
releasemediaRecorder();
return false;
}
值得一提的是,日常的业务中经常对拍摄视频的时长或者大小有要求,这个可以通过mediaRecorder.setOnInfoListener()来处理,OnInfoListener会监听正在录制的视频,然后我们 可以在它的回调方法里处理。
@Override
public void onInfo(MediaRecorder mediaRecorder, int what, int extra) {
if (MediaRecorder.MEDIA_RECORDER_INFO_MAX_DURATION_REACHED == what) {
//到达最大时长
} else if (MediaRecorder.MEDIA_RECORDER_INFO_MAX_FILESIZE_REACHED == what) {
//到达最大尺寸
}
}
更多关于MediaRecorder的介绍可以参考MediaRecorder官方文档。
结束视频录制也很简单,只需要调用mediaRecorder.stop()方法即可。
mediaRecorder.stop();
此外,如果不再使用相机,也要注意释放相机资源。
以上便是Camera的全部内容,还是比较简单的,下面我们接着来讲Camera2的相关内容,注意体会两者的区别。
Camera2 API中主要涉及以下几个关键类:
Camera2拍照流程如下所示:
开发者通过创建CaptureRequest向摄像头发起Capture请求,这些请求会排成一个队列供摄像头处理,摄像头将结果包装在CaptureMetadata中返回给开发者。整个流程建立在一个CameraCaptureSession的会话中。
打开相机之前,我们首先要获取CameraManager,然后获取相机列表,进而获取各个摄像头(主要是前置摄像头和后置摄像头)的参数。
mCameraManager = (CameraManager) mContext.getSystemService(Context.CAMERA_SERVICE);
try {
final String[] ids = mCameraManager.getCameraIdList();
numberOfCameras = ids.length;
for (String id : ids) {
final CameraCharacteristics characteristics = mCameraManager.getCameraCharacteristics(id);
final int orientation = characteristics.get(CameraCharacteristics.LENS_FACING);
if (orientation == CameraCharacteristics.LENS_FACING_FRONT) {
faceFrontCameraId = id;
faceFrontCameraOrientation = characteristics.get(CameraCharacteristics.SENSOR_ORIENTATION);
frontCameraCharacteristics = characteristics;
} else {
faceBackCameraId = id;
faceBackCameraOrientation = characteristics.get(CameraCharacteristics.SENSOR_ORIENTATION);
backCameraCharacteristics = characteristics;
}
}
} catch (Exception e) {
Log.e(TAG, "Error during camera initialize");
}
Camera2与Camera一样也有cameraId的概念,我们通过mCameraManager.getCameraIdList()来获取cameraId列表,然后通过mCameraManager.getCameraCharacteristics(id) 获取每个id对应摄像头的参数。
关于CameraCharacteristics里面的参数,主要用到的有以下几个:
注:事实上,在各个厂商的的Android设备上,Camera2的各种特性并不都是可用的,需要通过characteristics.get(CameraCharacteristics.INFO_SUPPORTED_HARDWARE_LEVEL)方法 来根据返回值来获取支持的级别,具体说来:
利用这个INFO_SUPPORTED_HARDWARE_LEVEL参数,我们可以来判断是使用Camera还是使用Camera2,具体方法如下:
@TargetApi(Build.VERSION_CODES.LOLLIPOP)
public static boolean hasCamera2(Context mContext) {
if (mContext == null) return false;
if (Build.VERSION.SDK_INT < Build.VERSION_CODES.LOLLIPOP) return false;
try {
CameraManager manager = (CameraManager) mContext.getSystemService(Context.CAMERA_SERVICE);
String[] idList = manager.getCameraIdList();
boolean notFull = true;
if (idList.length == 0) {
notFull = false;
} else {
for (final String str : idList) {
if (str == null || str.trim().isEmpty()) {
notFull = false;
break;
}
final CameraCharacteristics characteristics = manager.getCameraCharacteristics(str);
final int supportLevel = characteristics.get(CameraCharacteristics.INFO_SUPPORTED_HARDWARE_LEVEL);
if (supportLevel == CameraCharacteristics.INFO_SUPPORTED_HARDWARE_LEVEL_LEGACY) {
notFull = false;
break;
}
}
}
return notFull;
} catch (Throwable ignore) {
return false;
}
}
更多ameraCharacteristics参数,可以参见CameraCharacteristics官方文档。
打开相机主要调用的是mCameraManager.openCamera(currentCameraId, stateCallback, backgroundHandler)方法,如你所见,它有三个参数:
mCameraManager.openCamera(currentCameraId, stateCallback, backgroundHandler);
上面我们提到了CameraDevice.StateCallback,它是摄像头打开的一个回调,定义了打开,关闭以及出错等各种回调方法,我们可以在 这些回调方法里做对应的操作。
private CameraDevice.StateCallback stateCallback = new CameraDevice.StateCallback() {
@Override
public void onOpened(@NonNull CameraDevice cameraDevice) {
//获取CameraDevice
mcameraDevice = cameraDevice;
}
@Override
public void onDisconnected(@NonNull CameraDevice cameraDevice) {
//关闭CameraDevice
cameraDevice.close();
}
@Override
public void onError(@NonNull CameraDevice cameraDevice, int error) {
//关闭CameraDevice
cameraDevice.close();
}
};
通过上面的描述,关闭就很简单了。
//关闭CameraDevice
cameraDevice.close();
Camera2都是通过创建请求会话的方式进行调用的,具体说来:
CaptureRequest.Builder createCaptureRequest(@RequestTemplate int templateType)
createCaptureRequest()方法里参数templateType代表了请求类型,请求类型一共分为六种,分别为:
createCaptureSession(@NonNull List<Surface> outputs, @NonNull CameraCaptureSession.StateCallback callback, @Nullable Handler handler)
createCaptureSession()方法一共包含三个参数:
关于CameraCaptureSession.StateCallback里的回调方法:
理解了这些东西,创建预览请求就十分简单了。
previewRequestBuilder = mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
previewRequestBuilder.addTarget(workingSurface);
//注意这里除了预览的Surface,我们还添加了imageReader.getSurface()它就是负责拍照完成后用来获取数据的
mCameraDevice.createCaptureSession(Arrays.asList(workingSurface, imageReader.getSurface()),
new CameraCaptureSession.StateCallback() {
@Override
public void onConfigured(@NonNull CameraCaptureSession cameraCaptureSession) {
cameraCaptureSession.setRepeatingRequest(previewRequest, captureCallback, backgroundHandler);
}
@Override
public void onConfigureFailed(@NonNull CameraCaptureSession cameraCaptureSession) {
Log.d(TAG, "Fail while starting preview: ");
}
}, null);
可以发现,在onConfigured()里调用了cameraCaptureSession.setRepeatingRequest(previewRequest, captureCallback, backgroundHandler),这样我们就可以 持续的进行预览了。
注:上面我们说了添加了imageReader.getSurface()它就是负责拍照完成后用来获取数据,具体操作就是为ImageReader设置一个OnImageAvailableListener,然后在它的onImageAvailable() 方法里获取。
mImageReader.setOnImageAvailableListener(mOnImageAvailableListener, mBackgroundHandler);
private final ImageReader.OnImageAvailableListener mOnImageAvailableListener
= new ImageReader.OnImageAvailableListener() {
@Override
public void onImageAvailable(ImageReader reader) {
//当图片可得到的时候获取图片并保存
mBackgroundHandler.post(new ImageSaver(reader.acquireNextImage(), mFile));
}
};
关闭预览就是关闭当前预览的会话,结合上面开启预览的内容,具体实现如下:
if (captureSession != null) {
captureSession.close();
try {
captureSession.abortCaptures();
} catch (Exception ignore) {
} finally {
captureSession = null;
}
}
拍照具体来说分为三步:
try {
//相机对焦
previewRequestBuilder.set(CaptureRequest.CONTROL_AF_TRIGGER, CameraMetadata.CONTROL_AF_TRIGGER_START);
//修改状态
previewState = STATE_WAITING_LOCK;
//发送对焦请求
captureSession.capture(previewRequestBuilder.build(), captureCallback, backgroundHandler);
} catch (Exception ignore) {
}
我们定义了一个CameraCaptureSession.CaptureCallback来处理对焦请求返回的结果。
private CameraCaptureSession.CaptureCallback captureCallback = new CameraCaptureSession.CaptureCallback() {
@Override
public void onCaptureProgressed(@NonNull CameraCaptureSession session,
@NonNull CaptureRequest request,
@NonNull CaptureResult partialResult) {
}
@Override
public void onCaptureCompleted(@NonNull CameraCaptureSession session,
@NonNull CaptureRequest request,
@NonNull TotalCaptureResult result) {
//等待对焦
final Integer afState = result.get(CaptureResult.CONTROL_AF_STATE);
if (afState == null) {
//对焦失败,直接拍照
captureStillPicture();
} else if (CaptureResult.CONTROL_AF_STATE_FOCUSED_LOCKED == afState
|| CaptureResult.CONTROL_AF_STATE_NOT_FOCUSED_LOCKED == afState
|| CaptureResult.CONTROL_AF_STATE_INACTIVE == afState
|| CaptureResult.CONTROL_AF_STATE_PASSIVE_SCAN == afState) {
Integer aeState = result.get(CaptureResult.CONTROL_AE_STATE);
if (aeState == null ||
aeState == CaptureResult.CONTROL_AE_STATE_CONVERGED) {
previewState = STATE_PICTURE_TAKEN;
//对焦完成,进行拍照
captureStillPicture();
} else {
runPreCaptureSequence();
}
}
}
};
我们定义了一个captureStillPicture()来进行拍照。
private void captureStillPicture() {
try {
if (null == mCameraDevice) {
return;
}
//构建用来拍照的CaptureRequest
final CaptureRequest.Builder captureBuilder =
mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_STILL_CAPTURE);
captureBuilder.addTarget(imageReader.getSurface());
//使用相同的AR和AF模式作为预览
captureBuilder.set(CaptureRequest.CONTROL_AF_MODE, CaptureRequest.CONTROL_AF_MODE_CONTINUOUS_PICTURE);
//设置方向
captureBuilder.set(CaptureRequest.JPEG_ORIENTATION, getPhotoOrientation(mCameraConfigProvider.getSensorPosition()));
//创建会话
CameraCaptureSession.CaptureCallback CaptureCallback = new CameraCaptureSession.CaptureCallback() {
@Override
public void onCaptureCompleted(@NonNull CameraCaptureSession session,
@NonNull CaptureRequest request,
@NonNull TotalCaptureResult result) {
Log.d(TAG, "onCaptureCompleted: ");
}
};
//停止连续取景
captureSession.stopRepeating();
//捕获照片
captureSession.capture(captureBuilder.build(), CaptureCallback, null);
} catch (CameraAccessException e) {
Log.e(TAG, "Error during capturing picture");
}
}
拍完照片后,我们还要解锁相机焦点,让相机恢复到预览状态。
try {
//重置自动对焦
previewRequestBuilder.set(CaptureRequest.CONTROL_AF_TRIGGER, CameraMetadata.CONTROL_AF_TRIGGER_CANCEL);
captureSession.capture(previewRequestBuilder.build(), captureCallback, backgroundHandler);
//相机恢复正常的预览状态
previewState = STATE_PREVIEW;
//打开连续取景模式
captureSession.setRepeatingRequest(previewRequest, captureCallback, backgroundHandler);
} catch (Exception e) {
Log.e(TAG, "Error during focus unlocking");
}
//先关闭预览,因为需要添加一个预览输出的Surface,也就是mediaRecorder.getSurface()
closePreviewSession();
//初始化MediaRecorder,设置相关参数
if (preparemediaRecorder()) {
final SurfaceTexture texture = Camera2Manager.this.texture;
texture.setDefaultBufferSize(videoSize.getWidth(), videoSize.getHeight());
try {
//构建视频录制aptureRequest
previewRequestBuilder = mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_RECORD);
final List<Surface> surfaces = new ArrayList<>();
//设置预览Surface
final Surface previewSurface = workingSurface;
surfaces.add(previewSurface);
previewRequestBuilder.addTarget(previewSurface);
//设置预览输出Surface
workingSurface = mediaRecorder.getSurface();
surfaces.add(workingSurface);
previewRequestBuilder.addTarget(workingSurface);
mCameraDevice.createCaptureSession(surfaces, new CameraCaptureSession.StateCallback() {
@Override
public void onConfigured(@NonNull CameraCaptureSession cameraCaptureSession) {
captureSession = cameraCaptureSession;
previewRequestBuilder.set(CaptureRequest.CONTROL_MODE, CameraMetadata.CONTROL_MODE_AUTO);
try {
//持续发送Capture请求,实现实时预览。
captureSession.setRepeatingRequest(previewRequestBuilder.build(), null, backgroundHandler);
} catch (Exception e) {
}
try {
//开始录像
mediaRecorder.start();
} catch (Exception ignore) {
Log.e(TAG, "mediaRecorder.start(): ", ignore);
}
isVideoRecording = true;
uiHandler.post(new Runnable() {
@Override
public void run() {
cameraVideoListener.onVideoRecordStarted(videoSize);
}
});
}
@Override
public void onConfigureFailed(@NonNull CameraCaptureSession cameraCaptureSession) {
Log.d(TAG, "onConfigureFailed");
}
}, backgroundHandler);
} catch (Exception e) {
Log.e(TAG, "startVideoRecord: ", e);
}
}
关于MediaRecorder上面讲Camera的时候我们就已经说过,这里不再赘述。
以上便是视频录制的全部内容,就是简单的API使用,还是比较简单的。
结束视频录制主要也是关闭会话以及释放一些资源,具体说来:
//关闭预览会话
if (captureSession != null) {
captureSession.close();
try {
captureSession.abortCaptures();
} catch (Exception ignore) {
} finally {
captureSession = null;
}
}
//停止mediaRecorder
if (mediaRecorder != null) {
try {
mediaRecorder.stop();
} catch (Exception ignore) {
}
}
//释放mediaRecorder
try {
if (mediaRecorder != null) {
mediaRecorder.reset();
mediaRecorder.release();
}
} catch (Exception ignore) {
} finally {
mediaRecorder = null;
}
以上便是Camera/Camera2实践的相关内容,更多关于图像、视频处理的内容可以参见phoenix项目。
Android媒体开发:Bitmap实践指南
文章目录
本篇文章用来介绍Android平台的图像压缩方案以及图像编解码的通识性理解,事实上Android平台对图像的处理最终都交由底层实现,篇幅有限,我们这里不会去过多的分析底层的细节实现细节,但是 我们会提一下底层的实现方案概览,给向进一步扩展的同学提供一些思路。
在介绍Bitmap之前,我们先要了解一下和压缩相关的图像的基本知识,这也可以帮助我们理解Bitmap.java里定义的一些变量的含义。
像素密度
色彩模式
一 Bitmap内存管理
Bitmap是我们应用里使用内存的大户,很多OOM都是由于不当的图像使用造成内存过多占用而造成的,Bitmap在Android虚拟机内存存储的结构图如下所示:
从上图可以看出:
如何计算Bitmap占用内存的大小呢?🤔
👉 注:这里inDensity表示目标图片的dpi(放在哪个资源文件夹下),inTargetDensity表示目标屏幕的dpi,所以你可以发现inDensity和inTargetDensity会对Bitmap的宽高 进行拉伸,进而改变Bitmap占用内存的大小。
在Bitmap里有两个获取内存占用大小的方法。
在不复用 Bitmap 时,getByteCount() 和 getAllocationByteCount 返回的结果是一样的。在通过复用 Bitmap 来解码图片时,那么 getByteCount() 表示新解码图片占用内存的大 小,getAllocationByteCount() 表示被复用 Bitmap真实占用的内存大小(即 mBuffer 的长度)。
除了以上这些概念,我们再提一下Bitmap.java里的一些成员变量,这些变量大家在可能也经常遇到,要理解清楚。
从上面的分析可以看出,不管是在哪个Android版本是虚拟机进程所在内存大小16M这一点是没有改变的,我们要有节制的去使用内存。
可以从以下几个方面来考虑:
缓存图片
可以使用LruCache来缓存图片。
复用图片
使用BitmapFactory.Option的inBitmap标志位来复用图片。
UC黑科技 - 偷用Native内存
👉 注:由于Bitmap解码是由底层Skia库来完成的,这么做可能会有兼容性问题,但这个方法对于需要大量使用图像的App可以考虑这个方法,当然 你需要定义自己的Skia库解决兼容性问题。
接下来我们来重点分析图像压缩相关知识,知识保证图像低内存占用的重要手段。
Android平台压缩图像的手段通常有两种:
二 质量压缩
2.1 实现方法
它有三个参数
我们来写个例子验证一下。
quality = 100
1823x1076 1.16m
quality = 50
1823x1076 124.52k
quality = 0
1823x1076 35.80k
可以看到随着quality的降低,图像质量发生了明显的变化,但是图像的尺寸没有发生变化。
2.2 实现原理
Android图片的编码是由Skia库来完成的。
Skia在external/skia包中,我们虽然在平时的开发中没有直接用到Skia,但它对我们太重要了,它 是Android系统的重要组成部分,很多重要操作例如图像编解码,Canvas绘制在底层都是通过Skia来完成的。它同样被广泛用于Google的其他产品中。
Skia在src/allList包下定义了各种格式图片的编解码器。
kImageEncoder.cpp
Skia本身提供了基本的画图和编解码功能,它同时还挂载了其他第三方编解码库,例如:libpng.so、libjpeg.so、libgif.so、所以我们上面想要编码成jpeg图像最终是由libjpeg来完成的。 上面也提到,我们做图像压缩,一般选择的JPEG,我们重点来看看JPEG的编解码。
Android并非采用原生的libjpeg,而是做了一些修改,具体说来:
libjpeg源码在external/jpeg包下,接下来我们具体看看JPEG压缩的实现。
我们再来从上到下看看整个源码的实现流程。
可以看到它在内部调用的是一个native方法nativeCompress(),这是定义在Bitmap.java里的一个函数,它的实现在Bitmap.cpp里
它最终调用的是Bitmap.cpp里的Bitmap_compress()函数,我们来看看它的实现。
可以看到该函数根据编码格式选择SkImageEncoder,从而创建对应的图像编码器,最后 调用encodeStream(strm, *bitmap, quality)方法来完成编码。通
上面的代码创建了SkJpegEncoder,并最终调用了它里面的make()方法,如下所示:
上面就是整个图像压缩的流程。
一般情况下,Android自带的libjpeg就可以满足日常的开发需求,如果业务对高质量和低存储的需求比较大,可以考虑一下以下两个库:
三 尺寸压缩
3.1 邻近采样
它的实现代码大家也非常熟悉。
inSampleSize = 1
inSampleSize = 32
可以看到这种方式的关键在于inSampleSize的选择,它决定了压缩后图像的大小。
关于inSampleSize的计算,Luban提供了很好的思路,作者也给出了算法思路。
算法思路
具体实现
核心思想就是通过对原图宽高的比较计算出合适的采样值。
同样的我们也来看看这种方式的底层实现原理,BitmapFactory里有很多decode方法,它们最终调用的是native方法。
这些native方法在BitmapFactory.cpp里实现,这些方法最终调用的是doDecode()方法
我们发现在最后调用了createBitmap()方法来创建Bitmap对象,这个方法在Graphics.cpp里定义的,我们来看看它是如何创建Bitmap的。
可以看到最终C++层调用JNI方法创建了Java层的Bitmap对象,至此,整个BitmapFactory的解码流程我们就分析完了。
3.2 双线性采样
它的实现方式也很简单
这种方式的关键在于Bitmap.createBitmap(Bitmap source, int x, int y, int width, int height, Matrix m, boolean filter)方法。
这个方法有七个参数:
我们来看看它的实现。
可以看到这个方法又调用了它的同名方法createBitmap(neww, newh, transformed ? Config.ARGB_8888 : newConfig,transformed || source.hasAlpha()) 该方法当然也是借由底层的native方法实现Bitmap的创建。
这个方法对应着Bitmap.cpp里的Bitmap_creator()方法。
可以看到上面调用allocateJavaPixelRef()方法来创建图像数组,该方法在Graphics.cpp里定义的。
创建完成图像数组后,就接着调用createBitmap()创建Java层的Bitmap对象,这个我们在上面已经说过,自此Bitmap.createBitmap()方法的实现流程我们也分析完了。
以上便是Android原生支持的两种采样方式,如果这些并不能满足你的业务需求,可以考虑以下两种方式。
好了,以上就是关于Android平台处理图像压缩的全部内容,下一篇文章我们来分析视频压缩的实现方案。另外phoenix项目完整的实现了图片与视频的压缩,其中图片的压缩就是用的上文提到的 Luban的算法实现,大家在做项目的时候可以做个参考。