2023年度インタラクションデザイン演習実習Ⅰ

このページは東京都立大学にて開講している、2023年度インタラクションデザイン演習実習Ⅰにおける授業補助教材です。

ユーザとモノをつなぐ対話設計であるインタラクションデザインに関する体系的知識及び実践的基礎技術を身に付けることを目標とする．近年の論文からいくつかのトピックを議論し，最先端の研究分野をフォローできるための知識を獲得し，それらを実際に再現するために必要な技術要素を同時に身に付けることを目標とする．

Short Paper

Robert J. Orr and Gregory D. Abowd. 2000. The smart floor a mechanism for natural user identification and tracking. In CHI '00 Extended Abstracts on Human Factors in Computing Systems (CHI EA '00). ACM, New York, NY, USA, 275-276. DOI=10.1145/633292.633453 http://doi.acm.org/10.1145/633292.633453

２ページの英文ショートペーパーです．ロードセルを利用したシンプルなユーザ識別装置に関する報告です．識別にはユークリッド距離を利用しています．なお，ウェブで検索をするとフルペーパーも見つかるので，詳細はそっちで確認することをおすすめします．ユーザが歩いた際における圧力や時間，力の分散などを特徴量として学習済みの特徴量をf，入力データをf'（ダッシュ）とした場合，次のような計算で距離を求めると，様々な学習済みデータとどの程度入力データがことなるのかを計算できるようになります．本講義でのもっとも基本的で重要な考え方なので，しっかり理解しましょう．

* Nearest Neighbor参考ページ：インタラクションデザインの為のパターン認識入門

宮崎優子馬場哲晃
概要
聴覚障がい者のコミュニケーションツールには，単語を手の形や位置，動きで表現する手話と，日本語かなを手の形や動きに対応させた指文字がある.指文字は手話表現にない固有名詞や名前を表現するときに使われ，手話初心者にとって手話を覚えていなくても指文字を覚えれば単語を綴ることができる. したがって，指文字をスムーズに綴れることは，手話初心者にとって聴覚障がい者との円滑なコミュニケーションへの第一歩と言える.手話の学習方法としては対面で講師から学ぶ方法が主であるが，これは学習者にとって時間的・金銭的コストがかかる.一方で，学習者が単独で手話を学ぶには，本や DVD を使った方法があるが，これらは指文字を一字ずつ覚えることはできても，実際に指文字を使うときのような単語を綴りながらの指文字練習は紙面やコンテンツ数の制約により，限界があった.そこで本研究では学習者に単語を提示し，学習者がその単語を指文字で綴ることで指文字学習定着および技能向上を目的とするタイピングゲームを制作する.このゲームはブラウザゲームとして実装・公開することによって，インターネット環境と Web カメラの搭載された PC のみで学習者の手軽な指文字学習を可能にする.

この授業用の特別教材を準備しました．笑顔認識ができるようになったので，表情を認識させることができるようになりました．先の論文では冷蔵庫の開閉にインタラクションをデザインしていましたが，これをゲーム操作インタフェースとして応用してみます．スーパーマリオブラザーズを模したp5jsのコードをベースにして，表情認識でマリオを操作してみます．

https://www.nintendo.co.jp/networkservice_guideline/ja/index.html
https://tetsuakibaba.jp/ws/doku.php?id=p5js:xx.faceapi
https://editor.p5js.org/tetsuakibaba/sketches/NfnWBTMGs
レース用の雛形（タイマーの下にフレームカウントがついています）：https://editor.p5js.org/tetsuakibaba/sketches/VsRdt5pDr

https://cir.nii.ac.jp/crid/1390575661587795840
論文データ：11_13.pdf
著者：馬場哲晃
Covid-19によって，多くの教育機関がオンライン授業への対応を余儀なくされた．対面授業とオンライン授業の比較は多くの研究がなされる一方で，オンライン授業では様々なデジタルツールの活用がなされる等，多様な取り組み方法が継続的に実践・検討されている．本稿では，著者が2020年度から開発を開始した音声リアクション・コメント読み上げ共有システムCommentableに対し，学習者による匿名の音声干渉（本稿では特に音声による学生と教員間のインタラクションを指す）機能を利用することで，一部授業では音声なしよりも音声付き投稿が多用されたことや，投稿ログとアンケート結果から授業への参画度向上が示されたことを報告する．一方で，音声干渉機能は200人規模の授業には不向きであるほか，小規模，中規模授業であっても教師および学習者同士が協調し本機能を活用する必要があることがアンケート結果から示された．

ここではまずは実際にNeuralNetを自分でコーディングし，その振る舞いを理解した後に楽しいサンプルを触っていきます．

【お薦め】ニューロンを位置からコーディングして、一つのニューロンからなるパーセプトロンを自分で実装してみるDaniel
- https://www.youtube.com/watch?v=ntKn5TPHHAk&list=PLRqwX-V7Uu6aCibgK1PTWWu9by6XFdCfh&index=3&t=0s

機械学習をjsで利用可能なライブラリml5に関してDanielがいくつかの動画を挙げてくれています。

【例】ビデオ画像を10×10のサイズに小さくして、実際に画像識別を実装するDaniel
- https://www.youtube.com/watch?v=UaKab6h9Z0I
ML5 Beginners Guide: The Coding Train（Danielによるml5jsの実践動画集）

授業では１つ目の動画を実際にたどりながらニューラルネットの基本原則を理解します。

実際に自分でニューラルネットを設計して実装していくのもよいですが、すでにGoogleによって超すごいフレームワークが提供されています。その名はTeachable Machineです。まずは以下の動画で実際になにを行うかをみて、自分でもやってみます。先で述べたml5.jsライブラリを利用して、training自体を簡単にできるようにまとめたものだと思ってください。