Android webrtc实战（一）录制本地视频并播放，附带详细的基础知识讲解

原创

已于 2023-04-09 15:20:36 修改 · 6.1k 阅读

标签

#webrtc #音视频 #android #kotlin #p2p

于 2023-04-09 15:18:49 首次发布

本文是WebRTC系列的第一部分，主要介绍了如何在Android中创建PeerConnectionFactory和AudioDeviceModule，用于实现本地视频播放功能。文中详细讲解了初始化过程、对象构建、音频和视频相关对象的创建，以及权限申请等关键步骤。同时提到了CameraCapturer和ScreenCapturerAndroid等视频录制类的使用。

一、创建PeerConnectionFactory

初始化

构建对象

二、创建AudioDeviceModule

AudioDeviceModule

JavaAudioDeviceModule

本系列文章带大家熟悉webrtc，最终用webrtc做一个p2p音视频通话的app。本文章作为本系列第一期主要讲解一些基础知识，同时实现用webrtc播放本地录制的视频的功能。文章最后会提供完整的代码。如果有小伙伴还没有Android webrtc源码，可以关注我并私信“Android webrtc源码”，我会给大家提供源码，获取源码后以module的形式导入到自己的项目即可。

一、创建PeerConnectionFactory

PeerConnectionFactory是一个创建、配置和管理其余一切的类，是使用webrtc的起点。

初始化

        PeerConnectionFactory.initialize(InitializationOptions.builder(context)
//            .setFieldTrials("xiongFieldTrials")// 设置实验性功能
//            .setNativeLibraryName("jingle_peerconnection_so")// 底层库的名称,可以不用设置。如果设置名称一定要和底层库的名称一致
            .setEnableInternalTracer(true)// 启用内部追踪器，用来记录一些相关数据
            .createInitializationOptions())

在使用webrtc之前至少要调用一次该方法，主要目的是初始化并加载webrtc。

构建对象

peerConnectionFactory = PeerConnectionFactory.builder()
            .setVideoDecoderFactory(DefaultVideoDecoderFactory(eglContext))// 设置视频解码工厂
            .setVideoEncoderFactory(DefaultVideoEncoderFactory(eglContext, false, true))//设置视频编码工厂
            .setAudioDeviceModule(adm)
            .setOptions(options)
            .createPeerConnectionFactory()

在构建对象时主要设置了编解码工厂、音频管理设备和一些额外选项，其中编解码知识不在本文章讲解范围内，音频管理设备在本文章后面进行讲解。除了这些，这个setOptions是做什么的呢？在setOptions时需要传入一个Options对象，这个对象有三个公开的属性：

    public int networkIgnoreMask;
    public boolean disableEncryption;
    public boolean disableNetworkMonitor;

其中，networkIgnoreMask：用来忽略指定的网络类型，也就是说不会使用这个网络进行webrtc通信，可取以下这些值：

ADAPTER_TYPE_UNKNOWN = 0：未知类型的以太网适配器。
ADAPTER_TYPE_ETHERNET = 1 << 0：以太网适配器。
ADAPTER_TYPE_WIFI = 1 << 1：Wi-Fi 适配器。
ADAPTER_TYPE_CELLULAR = 1 << 2：蜂窝移动数据适配器。
ADAPTER_TYPE_VPN = 1 << 3：VPN 适配器。
ADAPTER_TYPE_LOOPBACK = 1 << 4：回环适配器。
ADAPTER_TYPE_ANY = 1 << 5：任何适配器类型都不被忽略。这是默认值。

disableEncryption：true表示不用数据加密

disableNetworkMonitor：true表示禁用网络监视器

二、创建AudioDeviceModule

AudioDeviceModule

AudioDeviceModule是webrtc用来管理和配置音频的，在上边创建peerconnectionFactory时把该对象作为setAudioDeviceModule方法的参数传了进去。AudioDeviceModule是一个接口类，其中有四个方法：

/**
   * Returns a C++ pointer to a webrtc::AudioDeviceModule. Caller does _not_ take ownership and
   * lifetime is handled through the release() call.
   */
  long getNativeAudioDeviceModulePointer();

  /**
   * Release resources for this AudioDeviceModule, including native resources. The object should not
   * be used after this call.
   */
  void release();

  /** Control muting/unmuting the speaker. */
  void setSpeakerMute(boolean mute);

  /** Control muting/unmuting the microphone. */
  void setMicrophoneMute(boolean mute);

getNativeAudioDeviceModulePointer：返回顶层c++ webrtc::AudioDeviceModule的指针
release：释放资源，释放后不能再使用这个对象了
setSpeakerMute：扬声器开启或者关闭静音
setMicrophoneMute：麦克风开启或者关闭静音

JavaAudioDeviceModule

JavaAudioDeviceModule是AudioDeviceModule的实现类，里面封装了一个WebRtcAudioRecord对象作为音频输入、一个WebRtcAudioTrack对象作为音频输出，还封装了一些设置采样率、音频格式、声道数等的配置。其中各种关于音频类的关系以及WebRtcAudioRecord我在另外一篇文章中有比较详细的介绍：webrtc怎么播放本地音频文件。

构建对象

        adm = JavaAudioDeviceModule.builder(context)
            .setAudioAttributes(audioAttributes)// 设置音频属性
            .setAudioFormat(AudioFormat.ENCODING_PCM_16BIT)// 设置音频采样格式
            .setAudioSource(MediaRecorder.AudioSource.VOICE_COMMUNICATION)// 设置音频录制源
            .setSampleRate(44100)// 设置音频采样率
            .setAudioRecordErrorCallback(audioRecordErrorCallback)// audio record错误记录
            .setAudioRecordStateCallback(audioRecordStateCallback)// audio record状态回调
            .setAudioTrackErrorCallback(audioTrackErrorCallback)// audio track错误回调
            .setAudioTrackStateCallback(audioTrackStateCallback)// audio track状态回调
            .setSamplesReadyCallback(samplesReadyCallback)// 每成功发送一次数据就调用该对象中的onWebRtcAudioRecordSamplesReady方法
            .setUseHardwareAcousticEchoCanceler(true)// 使用硬件回声消除
            .setUseHardwareNoiseSuppressor(true)// 使用硬件噪声抑制
            .setUseStereoInput(false)// 使用立体声输入
            .setUseStereoOutput(false)// 使用立体声输出
            .createAudioDeviceModule()

adm就是AudioDeviceModule对象，我们来看一下builder中的各种方法：