差分

このページの2つのバージョン間の差分を表示します。

--- lecture:インタラクションデザイン演習実習i:2023 [2023/05/10 10:24] – baba
+++ lecture:インタラクションデザイン演習実習i:2023 [2023/05/10 10:32] (現在) – [論文読解２：手軽な指文字学習支援のためのブラウザゲーム：ゆびもじタイピング] baba
@@ 行 15: / 行 15: @@
 * Nearest Neighbor参考ページ：[[http://tetsuakibaba.jp/workshop/PatternRecognition4InteractionDesign/main.html|インタラクションデザインの為のパターン認識入門]]
-====== 論文読解２：笑顔は人を幸せにするのか？笑顔促進支援システム ======
+====== 論文読解２：手軽な指文字学習支援のためのブラウザゲーム：ゆびもじタイピング ======
-[[https://www.wiss.org/WISS2011Proceedings/PDF/17.pdf|WISS2011 Paper]]
+  * {{ :lecture:インタラクションデザイン演習実習i:aac2023_02.pdf |}}
->辻田 眸、暦本 純一（東京大学）
+  * https://ipsj.ixsq.nii.ac.jp/ej/index.php?active_action=repository_view_main_item_detail&page_id=13&block_id=8&item_id=225341&item_no=1
+>宮崎 優子 馬場 哲晃
 >概要
->>高齢化など様々な要因で，独居生活を選択あるいは余儀なくされている人は少なくない.孤 独な生活により感情状態が悪化し，うつ病や心の病にかかるなど深刻な問題である.一方，心理学者ウィリ アム・ジェイムズの言説で，「人は幸福であるが故に笑うのではなく，笑うが故に幸福である」という考え方 がある.これは笑顔形成が感情状態を向上させる可能性を示唆している.そこで本論文では，日常生活のな かで積極的に笑顔をつくることを促進し，感情状態の向上を支援するシステム「HappinessCounter」を提 案する.笑顔促進のために，ユーザが日常的に行う作業時に笑顔形成を促し，フィードバックを与えたり， ソーシャルネットワークサービスなどと連携させることで，より積極的に笑顔形成を支援し，感情状態の向 上を目指す.さらに試作したシステムを実際の日常生活で利用してもらい評価実験を行った.その実験結果 を示し，今後の展望を述べる.
+>>聴覚障がい者のコミュニケーションツールには，単語を手の形や位置，動きで表現する手話と，日 本語かなを手の形や動きに対応させた指文字がある.指文字は手話表現にない固有名詞や名前を表現する ときに使われ，手話初心者にとって手話を覚えていなくても指文字を覚えれば単語を綴ることができる. したがって，指文字をスムーズに綴れることは，手話初心者にとって聴覚障がい者との円滑なコミュニ ケーションへの第一歩と言える.手話の学習方法としては対面で講師から学ぶ方法が主であるが，これは 学習者にとって時間的・金銭的コストがかかる.一方で，学習者が単独で手話を学ぶには，本や DVD を 使った方法があるが，これらは指文字を一字ずつ覚えることはできても，実際に指文字を使うときのよう な単語を綴りながらの指文字練習は紙面やコンテンツ数の制約により，限界があった.そこで本研究では 学習者に単語を提示し，学習者がその単語を指文字で綴ることで指文字学習定着および技能向上を目的と するタイピングゲームを制作する.このゲームはブラウザゲームとして実装・公開することによって，イ ンターネット環境と Web カメラの搭載された PC のみで学習者の手軽な指文字学習を可能にする.
-この論文ではユーザの笑顔形成を促すシステムを提案していますが、笑顔を認識できることで可能となるシステムサービスの一例をプロトタイピングから示し、実際に被験者実験（アンケート調査、インタビュー）を行っています。デバイス周りの実装はこの授業では扱いませんが、笑顔を検出するシステムを実際に制作してみたいと思います。
-まず、この回では p5.jsを利用して実装を進めて行きます。DOM（html上のオブジェクトを利用すること）は使用しないので、基本的にはProcessingと同じような文法になりますが、まずは下記リンクを参照して、Processingとp5.jsを比較します。
-{{indexmenu>:processing:p5js#1|js#indextheme}}
-続いて、次のサンプルを利用してまずは手っ取り早く、FaceTrackerしてみます。以降はブラウザを必ずChromeにて実行してください．
-  * https://editor.p5js.org/tetsuakibaba/sketches/EQiqK-GgI
-上記サンプルの元になっているのが，[[https://github.com/auduno/clmtrackr]] です．こちらのサンプルでは単純なfacetrackerの他にマスク，
-サブスティチューション，表情認識等のデモを確認することができます．<del>まずは各頂点情報を参照して，顔の各パーツを扱えるようにプログラムを工夫していきます．すでにexampleでは口の横の長さで笑顔度を計算する記述も含まれているので，うまく利用してみましょう．</del>これまではclmtrackrを利用して授業を進めてきましたが、googleが提供するfacemeshが精度、速度ともに上回っているのでそちらを使うことにします。
-まずは [[https://github.com/TetsuakiBaba/p5_facemesh]]からひな形をダウンロードしてください。以後はVSCodeを利用していきますので、VSCodeの環境準備も合わせて行います。環境準備については [[p5js:01.開発環境|p5.jsの開発環境]]のVSCodeのページを参考にしながら進めます。
-なお，複数のカメラデバイスが存在しており，任意のカメラだけをオープンしたい場合は以下のページを参照してください．
-  * [[p5js:tips:複数カメラの読込|複数カメラの読込]]
-授業を通じて，笑顔を認識するアルゴリズムからコーディングまで実装します．
+===== Hand Mario =====
-===== Facial Mario =====
 この授業用の特別教材を準備しました．笑顔認識ができるようになったので，表情を認識させることができるようになりました．先の論文では冷蔵庫の開閉にインタラクションをデザインしていましたが，これをゲーム操作インタフェースとして応用してみます．スーパーマリオブラザーズを模したp5jsのコードをベースにして，表情認識でマリオを操作してみます．
   * https://www.nintendo.co.jp/networkservice_guideline/ja/index.html