如何使用适用于 Android 的 WebRTC Native Code 实现 3 路电话会议视频聊天？

Question

我正在尝试使用 WebRTC Native Code package for Android（即不使用 WebView）在 Android 应用程序中实现 3 路视频聊天。我使用 node.js 编写了一个信令服务器，并使用客户端应用程序中的 Gottox socket.io java client 库连接到服务器、交换 SDP 数据包并建立双向视频聊天连接。

但是，现在我遇到了超出三方通话的问题。 WebRTC 本机代码包附带的 AppRTCDemo 应用仅演示了 2 向调用（如果第 3 方尝试加入房间，则会返回“房间已满”消息）。

根据this answer（与Android 无关），我应该通过创建多个PeerConnections 来做到这一点，因此每个聊天参与者都会连接到其他2 个参与者。

但是，当我创建多个 PeerConnectionClient（一个包装 PeerConection 的 Java 类，它在 libjingle_peerconnection_so.so 中的本机端实现）时，由于与两者发生冲突，库内部会引发异常他们试图访问相机：

E/VideoCapturerAndroid(21170): startCapture failed
E/VideoCapturerAndroid(21170): java.lang.RuntimeException: Fail to connect to camera service
E/VideoCapturerAndroid(21170):  at android.hardware.Camera.native_setup(Native Method)
E/VideoCapturerAndroid(21170):  at android.hardware.Camera.<init>(Camera.java:548)
E/VideoCapturerAndroid(21170):  at android.hardware.Camera.open(Camera.java:389)
E/VideoCapturerAndroid(21170):  at org.webrtc.VideoCapturerAndroid.startCaptureOnCameraThread(VideoCapturerAndroid.java:528)
E/VideoCapturerAndroid(21170):  at org.webrtc.VideoCapturerAndroid.access$11(VideoCapturerAndroid.java:520)
E/VideoCapturerAndroid(21170):  at org.webrtc.VideoCapturerAndroid$6.run(VideoCapturerAndroid.java:514)
E/VideoCapturerAndroid(21170):  at android.os.Handler.handleCallback(Handler.java:733)
E/VideoCapturerAndroid(21170):  at android.os.Handler.dispatchMessage(Handler.java:95)
E/VideoCapturerAndroid(21170):  at android.os.Looper.loop(Looper.java:136)
E/VideoCapturerAndroid(21170):  at org.webrtc.VideoCapturerAndroid$CameraThread.run(VideoCapturerAndroid.java:484)

在尝试建立连接之前初始化本地客户端时会发生这种情况，因此它与 node.js、socket.io 或任何信号服务器无关。

如何让多个 PeerConnections 共享摄像头，以便我可以将同一视频发送给多个同行？

我的一个想法是实现某种单例相机类来替换可以在多个连接之间共享的 VideoCapturerAndroid，但我什至不确定这是否可行，我想知道是否有办法在我开始在图书馆内部进行黑客攻击之前，使用 API 进行 3 向调用。

有可能吗？如果可以，怎么做？

更新：

我尝试在多个 PeerConnectionClients 之间共享一个 VideoCapturerAndroid 对象，只为第一个连接创建它并将其传递给后续连接的初始化函数，但这导致了这个“Capturer 只能使用一次！”从 VideoCapturer 对象为第二个对等连接创建第二个 VideoTrack 时出现异常：

E/AndroidRuntime(18956): FATAL EXCEPTION: Thread-1397
E/AndroidRuntime(18956): java.lang.RuntimeException: Capturer can only be taken once!
E/AndroidRuntime(18956):    at org.webrtc.VideoCapturer.takeNativeVideoCapturer(VideoCapturer.java:52)
E/AndroidRuntime(18956):    at org.webrtc.PeerConnectionFactory.createVideoSource(PeerConnectionFactory.java:113)
E/AndroidRuntime(18956):    at com.example.rtcapp.PeerConnectionClient.createVideoTrack(PeerConnectionClient.java:720)
E/AndroidRuntime(18956):    at com.example.rtcapp.PeerConnectionClient.createPeerConnectionInternal(PeerConnectionClient.java:482)
E/AndroidRuntime(18956):    at com.example.rtcapp.PeerConnectionClient.access$20(PeerConnectionClient.java:433)
E/AndroidRuntime(18956):    at com.example.rtcapp.PeerConnectionClient$2.run(PeerConnectionClient.java:280)
E/AndroidRuntime(18956):    at android.os.Handler.handleCallback(Handler.java:733)
E/AndroidRuntime(18956):    at android.os.Handler.dispatchMessage(Handler.java:95)
E/AndroidRuntime(18956):    at android.os.Looper.loop(Looper.java:136)
E/AndroidRuntime(18956):    at com.example.rtcapp.LooperExecutor.run(LooperExecutor.java:56)

尝试在 PeerConnectionClients 之间共享 VideoTrack 对象导致本机代码出现此错误：

E/libjingle(19884): Local fingerprint does not match identity.
E/libjingle(19884): P2PTransportChannel::Connect: The ice_ufrag_ and the ice_pwd_ are not set.
E/libjingle(19884): Local fingerprint does not match identity.
E/libjingle(19884): Failed to set local offer sdp: Failed to push down transport description: Local fingerprint does not match identity.

在 PeerConnectionClients 之间共享 MediaStream 会导致应用突然关闭，而 Logcat 中不会出现任何错误消息。

Answer 1

您遇到的问题是 PeerConnectionClient 不是 PeerConnection 的包装器，它包含 PeerConnection。

我注意到这个问题没有得到回答，所以我想看看我是否可以帮忙。我查看了源代码，PeerConnectionClient 对单个远程对等点进行了非常硬的编码。您需要创建 PeerConnection 对象的集合，而不是这一行：

private PeerConnection peerConnection;

如果你再看看周围，你会发现它变得有点复杂。

createPeerConnectionInternal 中的 mediaStream 逻辑应该只执行一次，您需要像这样在 PeerConnection 对象之间共享流：

peerConnection.addStream(mediaStream);

您可以咨询WebRTC spec 或查看此stackoverflow 问题以确认PeerConnection 类型旨在仅处理一个对等点。也有些含糊的暗示here。

所以你只维护一个 mediaStream 对象：

private MediaStream mediaStream;

因此，主要思想是一个 MediaStream 对象和尽可能多的 PeerConnection 对象，因为您有想要连接的对等点。因此，您将不会使用多个 PeerConnectionClient 对象，而是修改单个 PeerConnectionClient 以封装多客户端处理。如果您出于某种原因确实想要设计多个 PeerConnectionClient 对象，您只需从中抽象出媒体流逻辑（以及任何只应创建一次的支持类型）。

您还需要维护多个远程视频轨道，而不是现有的：

private VideoTrack remoteVideoTrack;

您显然只关心渲染一个本地摄像机并为远程连接创建多个渲染器。

我希望这些信息足以让您重回正轨。

Answer 2

在 Matthew Sanders 的回答的帮助下，我设法让它工作了，所以在这个回答中，我将更详细地描述一种调整示例代码以支持视频电话会议的方法：

大部分更改需要在 PeerConnectionClient 中进行，但也需要在使用 PeerConnectionClient 的类中进行，这是您与信令服务器通信并设置连接的地方。

在PeerConnectionClient内部，每个连接都需要存储以下成员变量：

private VideoRenderer.Callbacks remoteRender;
private final PCObserver pcObserver = new PCObserver();
private final SDPObserver sdpObserver = new SDPObserver();
private PeerConnection peerConnection;
private LinkedList<IceCandidate> queuedRemoteCandidates;
private boolean isInitiator;
private SessionDescription localSdp;
private VideoTrack remoteVideoTrack;

在我的应用程序中，我最多需要 3 个连接（用于 4 方聊天），所以我只存储了每个连接的数组，但您可以将它们全部放在一个对象中并拥有一个对象数组。

private static final int MAX_CONNECTIONS = 3;
private VideoRenderer.Callbacks[] remoteRenders;
private final PCObserver[] pcObservers = new PCObserver[MAX_CONNECTIONS];
private final SDPObserver[] sdpObservers = new SDPObserver[MAX_CONNECTIONS];
private PeerConnection[] peerConnections = new PeerConnection[MAX_CONNECTIONS];
private LinkedList<IceCandidate>[] queuedRemoteCandidateLists = new LinkedList[MAX_CONNECTIONS];
private boolean[] isConnectionInitiator = new boolean[MAX_CONNECTIONS];
private SessionDescription[] localSdps = new SessionDescription[MAX_CONNECTIONS];
private VideoTrack[] remoteVideoTracks = new VideoTrack[MAX_CONNECTIONS];

我在PCObserver 和SDPObserver 类中添加了一个connectionId 字段，在PeerConnectionClient 构造函数中，我在数组中分配了观察者对象，并将每个观察者对象的connectionId 字段设置为其索引在数组中。 PCObserver 和 SDPObserver 的所有引用上面列出的成员变量的方法都应更改为使用 connectionId 字段索引到适当的数组。

PeerConnectionClient 回调需要更改：

public static interface PeerConnectionEvents {
    public void onLocalDescription(final SessionDescription sdp, int connectionId);
    public void onIceCandidate(final IceCandidate candidate, int connectionId);
    public void onIceConnected(int connectionId);
    public void onIceDisconnected(int connectionId);
    public void onPeerConnectionClosed(int connectionId);
    public void onPeerConnectionStatsReady(final StatsReport[] reports);
    public void onPeerConnectionError(final String description);
}

还有以下PeerConnectionClient 方法：

private void createPeerConnectionInternal(int connectionId)
private void closeConnectionInternal(int connectionId)
private void getStats(int connectionId)
public void createOffer(final int connectionId)
public void createAnswer(final int connectionId)
public void addRemoteIceCandidate(final IceCandidate candidate, final int connectionId)
public void setRemoteDescription(final SessionDescription sdp, final int connectionId)
private void drainCandidates(int connectionId)

与观察者类中的方法一样，所有这些函数都需要更改为使用connectionId 来索引每个连接对象的适当数组，而不是引用它们以前的单个对象。回调函数的任何调用也需要更改以将connectionId 传回。

我用一个名为createMultiPeerConnection 的新函数替换了createPeerConnection，它传递了一个VideoRenderer.Callbacks 对象数组，用于显示远程视频流，而不是单个对象。该函数调用createMediaConstraintsInternal() 一次，并为每个PeerConnections 调用createPeerConnectionInternal()，从0 循环到MAX_CONNECTIONS - 1。 mediaStream 对象仅在第一次调用 createPeerConnectionInternal() 时创建，只需将初始化代码包装在 if(mediaStream == null) 检查中即可。

我遇到的一个复杂情况是当应用程序关闭并且PeerConnection 实例被关闭并且MediaStream 被处置时。在示例代码中，mediaStream 使用addStream(mediaStream) 添加到PeerConnection，但从未调用过相应的removeStream(mediaStream) 函数（而是调用dispose()）。然而，当有多个PeerConnection 共享MediaStream 对象时，这会产生问题（本机代码中MediaStreamInterface 中的引用计数断言），因为dispose() 最终确定了MediaStream，这应该只在最后一个@987654362 时发生@ 已经关闭。调用removeStream() 和close() 也是不够的，因为它不会完全关闭PeerConnection，这会导致在处理PeerConnectionFactory 对象时发生断言崩溃。我能找到的唯一解决方法是将以下代码添加到 PeerConnection 类：

public void freeConnection()
{
    localStreams.clear();
    freePeerConnection(nativePeerConnection);
    freeObserver(nativeObserver);
}

然后在完成每个PeerConnection 时调用这些函数，除了最后一个：

peerConnections[connectionId].removeStream(mediaStream);
peerConnections[connectionId].close();
peerConnections[connectionId].freeConnection();
peerConnections[connectionId] = null;

并像这样关闭最后一个：

peerConnections[connectionId].dispose();
peerConnections[connectionId] = null;

修改PeerConnectionClient 后，需要更改信令代码以按正确顺序设置连接，将正确的连接索引传递给每个函数并适当地处理回调。我通过维护 socket.io 套接字 ID 和连接 ID 之间的哈希来做到这一点。当新客户加入房间时，每个现有成员都会向新客户发送报价并依次收到答复。还需要初始化多个VideoRenderer.Callbacks 对象，将它们传递给PeerConnectionClient 实例，然后根据需要划分屏幕以进行电话会议。