差分

この文書の現在のバージョンと選択したバージョンの差分を表示します。

この比較画面にリンクする

両方とも前のリビジョン 前のリビジョン
次のリビジョン
前のリビジョン
アプリケーション:iotptalk [2019/09/14 14:33]
baba [IoTPtalkController]
アプリケーション:iotptalk [2019/09/19 15:47] (現在)
baba [中継PCとIPtalkの連携]
ライン 5: ライン 5:
 ====== IoTPtalk:IPtalkによる作成字幕をインターネット配信に利用するためのデバイスとそのアプリケーション ====== ====== IoTPtalk:IPtalkによる作成字幕をインターネット配信に利用するためのデバイスとそのアプリケーション ======
  
 +{{ :​アプリケーション:​unadjustednonraw_thumb_1753f.jpg |}}
 ===== 背景 ===== ===== 背景 =====
  
ライン 14: ライン 15:
  
 一方でこれを学会のインターネット配信側から技術的観点で見直してみると、必ずしもインターネット中継配信用途に最適化されているとは言えない状況です。(もちろん、それを想定して機能追加していないので当然ではありますが)何から何まで栗田氏におんぶにだっこではいけない、と思い。アクセシビリティ研究会10回分の知見から、インターネット中継に適切にIPTalkの字幕を入れるために必要な環境を開発することにしました。 一方でこれを学会のインターネット配信側から技術的観点で見直してみると、必ずしもインターネット中継配信用途に最適化されているとは言えない状況です。(もちろん、それを想定して機能追加していないので当然ではありますが)何から何まで栗田氏におんぶにだっこではいけない、と思い。アクセシビリティ研究会10回分の知見から、インターネット中継に適切にIPTalkの字幕を入れるために必要な環境を開発することにしました。
 +
 +以下、参考までにアクセシビリティ研究会最初のころは、字幕保障を中継にいれるために画像をそのままキャプチャしていました。下記のような構成図となり、多くの機材が必要となることがわかります。
 +
 +{{ :​アプリケーション:​従来のシステム構成図.drawio_.png |}}
 +
  
 ===== インターネット配信におけるキャプショニング ===== ===== インターネット配信におけるキャプショニング =====
ライン 42: ライン 48:
     * ただしインターネットアクセスはモバイル回線とし、ローカルネットは https://​www.tp-link.com/​jp/​home-networking/​wifi-router/​tl-wr902ac/​ こんな感じのクライアントモードを備えたルータで構成する。     * ただしインターネットアクセスはモバイル回線とし、ローカルネットは https://​www.tp-link.com/​jp/​home-networking/​wifi-router/​tl-wr902ac/​ こんな感じのクライアントモードを備えたルータで構成する。
  
-このような構成にすれば、中継PCとIPtalkの連携は可能になりますが、最初に示した目標を2つとも満たしていません。そこで一つアプリケーション及びデバイスを開発することにしました。+このような構成にすれば、中継PCとIPtalkの連携は可能になりますが、最初に示した目標を2つ満たしていません。そこで一つアプリケーション及びデバイスを開発することにしました。
  
 ===== IPtalkからテキストをもらうには ===== ===== IPtalkからテキストをもらうには =====
ライン 76: ライン 82:
  
 ==== Syphonクライアント ==== ==== Syphonクライアント ====
-最後に紹介するのがSyphonクライアントを利用する方法です。Syphon( http://​syphon.v002.info )とはmacOSにてアプリケーション間で画像データを受け渡す通信プロトコルでVJやメディアアート界隈で広く利用されています。これをもちいることで、アプリケーション側からはOBSに渡したい画像データだけを送信することができます。また自分でコードを組めばアプリケーション上でスクロール処理も可能です。+最後に紹介するのがSyphonクライアントを利用する方法です。Syphon( http://​syphon.v002.info )とはmacOSにてアプリケーション間で画像データを受け渡す通信プロトコルでVJやメディアアート界隈で広く利用されています。これをもちいることで、アプリケーション側からはOBSに渡したい画像データだけを送信することができます。
  
 以上のことからUDPプロトコルから取得したテキストデータをSyphonを利用してOBSにその画面を送信することにしました。 以上のことからUDPプロトコルから取得したテキストデータをSyphonを利用してOBSにその画面を送信することにしました。
ライン 97: ライン 103:
  
 となっています。 となっています。
 +
 +デバイスの筐体及び内部に利用しているESP8266の外観を下記に示します。
 +{{:​アプリケーション:​img_2385.jpeg?​400|IoTPtalkの筐体とESP8266}}
  
 ==== IoTPtalkController ==== ==== IoTPtalkController ====
ライン 103: ライン 112:
  
 このアプリケーションにてテキストサイズ、行間、スクロールスピードを設定します。画面に表示されているキャプション画面はそのままSyphonプロトコルを通じでOBS上から取得ができます。なおIoTPtalkController自体にもUDP通信機能があるため、IPtalkと同じネットワーク上にいれば画面上にIPtalkのキャプションがデバイスを接続しなくとも流れてきます。上記画像はUDPから直接取得しているところです。デバイス側から取得している場合は画面右上のアイコンがUSBアイコンに変わります。USB接続をしている間はUDPからのデータは表示されません。 このアプリケーションにてテキストサイズ、行間、スクロールスピードを設定します。画面に表示されているキャプション画面はそのままSyphonプロトコルを通じでOBS上から取得ができます。なおIoTPtalkController自体にもUDP通信機能があるため、IPtalkと同じネットワーク上にいれば画面上にIPtalkのキャプションがデバイスを接続しなくとも流れてきます。上記画像はUDPから直接取得しているところです。デバイス側から取得している場合は画面右上のアイコンがUSBアイコンに変わります。USB接続をしている間はUDPからのデータは表示されません。
- 
  
 {{:​アプリケーション:​pasted:​20190914-143346.png}} {{:​アプリケーション:​pasted:​20190914-143346.png}}
  
 +===== まとめ:実現したシステム =====
 +IPtalkがWindwos対応のみである点、IPtalkのテキスト取得に対する互換性のある別手法がないため、本研究ではOSを問わず、IPtalkからのキャプションをテキスト形式で取得可能なシステムを、PCアプリケーション及びIoTデバイスで実現した。これにより従来字幕取得及び発表者のスライド取得に利用していたVGA/​HDMIキャプチャが簡素な構成から可能となった。以下に実現したシステム構成図をしめす。
 +
 +{{ :​アプリケーション:​実現したシステム構成図.drawio.png |}}
  
  
  • アプリケーション/iotptalk.1568439228.txt.gz
  • 最終更新: 2019/09/14 14:33
  • by baba