Zoom Video SDK の比較分析
言語を選択してください
Zoom Video SDK の比較分析
ソフトウェアの品質保証とカスタムのテストツール開発を提供するTestDevLabは、Zoom Video SDKと、ほかのVideo SDKベンダー4社（Agora、Vonage TokBox、Chime）のVideo SDKを分析しました。その目的は、各プラットフォームの動作を把握し、その結果として各Video SDKの品質を理解することでした。この分析は、Zoom Communications, Inc.から委託されたものです。このレポートで報告する調査結果は、TestDevLabが2022年5月12日に実施した調査の結果を反映しています。
このレポートでは、最初にVideo SDKの品質を評価する際の考慮事項について説明します。次に、パケットロス25%時に、パフォーマンスの品質、帯域幅の対応力、中央処理装置（CPU）とランダムアクセスメモリ（RAM）の使用率を低く抑えることに着目して分析した結果を紹介しています。テスト環境についての詳細は、付録を参照してください。
使いやすく、軽量で、高度にカスタマイズできる設計のZoomは、Video SDKの全体的な品質に多大な力を注いでいます。Zoom Video SDKは、劣悪なネットワーク環境、モバイルでのユースのケース、地方や遠隔地のシミュレーションでも、良好なテスト結果を叩き出しました。
TestDevLabはまた、Video SDKが帯域、CPU、RAMなどの限られたリソースをどのように扱うかもテストして確認しました。 Zoom Video SDKの結果は引き続き好調でした。
TestDevLabは、世界中の新興企業やフォーチュン500企業がリリースサイクルを加速し、製品の品質を向上し、ユーザー体験を強化できるように支援しています。そのサービスとソリューションの一環として、TestDevLab はベストプラクティスに従い、業界標準のテストツールやカスタムのテストソリューションを使用して、革新的なオーディオ / ビデオ品質のテストとベンチマーク、機能、回帰、セキュリティ、統合テスト、および SDK のテスト自動化サービスを提供しています。
Video SDKの品質を評価する際は、以下のようなさまざまな側面を考慮する必要があります。
ユーザーのデバイス: TestDevLabの調査範囲においては、すべてのSDKを同じデバイスでテストし、比較できるようにしました。
ネットワークの制限: 比較分析を実施するためには、ネットワークの状態を制御できる必要があります。TestDevLabは、4つのネットワーク制限（無制限、送信側に帯域制限を適用、受信側に帯域制限を適用、ランダムな25%のパケットロス）に焦点を当てました。高品質の接続を確保するために、各デバイスは異なるルーターに接続されています。
予測可能性と再現性: TestDevLabは、8つのテストを4回に分割して実施しました。各テストは、潜在的なグローバルネットワークの混雑や予期せぬサービスの低下などといった影響を軽減するために、異なる時間帯に実施しました。こうしたテストの中から、TestDevLabはもっとも動作が安定していた5つのテストを取り上げました。
分析: 結果を分析するために、TestDevLabはプロセス内検証を実行しました。全テストの経時的な結果を調べるとともに、主観と比較したデータの妥当性を確認するためにビデオの無作為抽出検査を実施します。
TestDevLabは、各シナリオを複数回テストしました。TestDevLabが同じシナリオを複数回テストした結果、各テストで、またすべてのベンダーにおいて、安定した結果を得ることができました。結果を分析する際、TestDevLabは次の点に着目しました。
パフォーマンスの品質。TestDevLabは、さまざまなネットワーク条件下で、オーディオ遅延とビデオ遅延の品質を分析しました。また、フレームレートの比較、FPS（1秒当たりのフレーム数）、VMAF（Video Multimethod Assessment Fusion）についても調査しました。
非理想的なネットワーク条件下でのリソース管理。TestDevLabは、パケットロスの状況下でベンダーがどのようにリソースを管理しているか調査しました。
CPU / RAMの使用率。TestDevLabは、アプリケーションに負荷がかかっているときにベンダーがどのようにリソースを消費するか調査しました（例: 多くの参加者の映像がギャラリービューでレンダリングされるなど）。
パフォーマンスの品質は、さまざまなネットワーク条件下で重要です。TestDevLabは、無制限のネットワークでオーディオ遅延、ビデオ遅延、フレームレートをテストしました。
各ベンダーのオーディオ遅延をテストしたところ、やや長い遅延があったChimeを除いて、軒並み同等の遅延があることがわかりました。
ビデオ遅延を比較すると、Zoom、Agora、Twilio、Chimeの映像遅延は、ほとんどが250 ミリ秒未満です。ただし、Vonage TokBoxには、250～1,000ミリ秒のビデオ遅延が発生しました。
フレームレートを比較すると、ビデオ通話ではZoomのフレームレートが最も高いことがテストからわかりました。
また、テストしたすべてのネットワーク条件において、Zoomのビデオ品質が最も安定していることも判明しました。テストは、帯域制限なしという設定から開始し、それから低帯域制限をまずは全ベンダーへ、次に送信側へ、その後受信側へ適用しました。
TestDevLabは次に、パケットロス25%というシナリオでソースがどの程度対応できるか調べました。パケットロスは、ネットワーク速度を低下させたり、ボトルネックを引き起こしたり、ネットワークスループット帯域幅を中断したりしかねない上、高額になる可能性があります。パケットロスの原因はさまざまですが、その多くは意図的なものではありません。たとえば、ネットワークの混雑、信頼性の低いネットワーク（特にモバイル）、ソフトウェアのバグ、デバイスの過負荷などが挙げられます。
パケットロス25%のシナリオを含むテストでは、Zoomはうまく帯域を維持し、パケットロスやネットワークの制約がありながらも見事にCPUとメモリの使用率を低く抑えていました。Zoomは通話品質を維持しながら、スマートな管理を提供し、かつ使用率も低めです。
一方で、Agoraはパケットロスに対するアプローチが異なるようで、パケットロスを処理するために多くの帯域を費やしていることがテストから判明しました。ビットレートが制限されていることがパケットロスの原因である場合、より多くの帯域を消費しようとすると問題が発生することがあります。
パケットロス25%時のオーディオ比較では、ZoomとAgoraが4.00 MOSを超えるレベルで音質をうまく処理していました。しかし、Twilioの音質は使い物にならないレベルで、Chimeの音質レベルも3.00 MOS以下と、ほぼ使い物にならない状態でした。
パケットロス25%時のオーディオ遅延を見ると、Agoraがパケットロスに対応するために200～250ミリ秒とより大きく増加しているのに比べ、Zoomは100ミリ秒程度の増加となっています。
ネットワークビットレートの比較では、TwilioとChimeの両者が不安定で、非常に低いビットレートがデフォルトになっていることがテストから判明しました。一方、Agoraのビットレートは非常に高かったため、パケットロスの原因を特定する際に、ネットワークの混雑を考慮していない可能性があることがわかりました。
CPUの使用率に関しては、テストシナリオ全体で、Zoomは他のベンダー4社と比較してCPU使用率が最小でした。
また、RAMの使用率が最小だったのもZoomです。以下の表のように、パケットロス25%時、TwilioとChimeはどちらも約500MBのRAMを使用し、Agoraはビデオ通話で3GB以上使用しています。
CPUとRAMの使用率が低いことによるメリット:
CPUやRAMの使用率が低いということは、リアルタイムA/Vを、リソースを激しく消費する他のアプリケーション（ビデオゲームなど）や、CADや3Dデザインなどのグラフィカルコラボレーション アプリケーションに組み込むといったユースケースには、最適だと言えます。
TestDevLabは、ユーザー数あたりのCPU使用率、時間の経過に伴うCPU使用率、時間の経過に伴うメモリ使用率を調べました。テストでは、Zoom Video SDKのCPU使用率が低いという結果が出ました。前述のように、低いCPU使用率は、より良いユーザー体験、利用できるリソースが増えることによるアプリのパフォーマンスの向上、アプリのバッテリー消費に対する不満の減少につながります。
同じテストで、Agoraは32グリッドのギャラリービューをホスティングできませんでした。また、Vonage TokBoxのCPU使用率は、他のベンダーよりも常に高い状態でした。
Zoom Video SDKは、リソース（帯域幅、CPU、RAMなど）が限られている場合も含め、あらゆるネットワークシナリオに対応できる優れた選択肢です。
TestDevLabは、各シナリオを複数回テストしましたが、結果は毎回一貫していました。Zoom Video SDKは以下の点で際立っていました。
開発を加速化し、完全にカスタマイズ可能なビデオベースのアプリケーションを構築する方法については、Zoom Video SDKのページにアクセスしてください。
Zoom Video SDKをはじめ、Agora、Vonage TokBox、Chime、TwilioのVideo SDKを、事前に定義したシナリオに沿ってテストしました。
TestDevLabは、5社のベンダー全社を、テストの種類3パターン、参加人数2パターン、ネットワーク制限4パターン（無制限、送信側に制限を適用、受信側に制限を適用、パケットロス 25%）でテストしました。 TestDevLabは、8つのテストを4回に分けて、異なる時間に実施しました。そこから、TestDevLabはその中で最も動作が安定していた5つのテストを取り上げて、解析と結果を出したのです。
さまざまな負荷レベルでCPUとRAMの使用状況をテストするため、TestDevLabは合計48人のユーザーが通話を始めるストレステストを作成しました。ビデオのストリーミング中、TestDevLabは32人、16人、8*人、4人、2人のユーザーのシナリオをテストするために、60秒ごとにグリッド上のユーザー数を切り替えました。
パフォーマンステストについては、TestDevLabプラットフォームを以下のように構成しました。
TestDevLabはパフォーマンスを分析するために、ビデオ通話、動的画面共有、静的画面共有のテストシナリオを実施しました。各シナリオは、参加人数を変えて5回テストされました。そのテストには、次のようなプロセスが適用されました。
*TestDevLabのテスト設計には、8人の参加者によるギャラリーテストも含まれていましたが、このテストは誤った解像度を使用して実施されていたため、その結果は分析およびレポートには含まれていません。