目次

2023年度インタラクションデザイン演習実習Ⅰ

このページは東京都立大学にて開講している、2023年度インタラクションデザイン演習実習Ⅰにおける授業補助教材です。

ユーザとモノをつなぐ対話設計であるインタラクションデザインに関する体系的知識及び実践的基礎技術を身に付けることを目標とする.近年の論文からいくつかのトピックを議論し,最先端の研究分野をフォローできるための知識を獲得し,それらを実際に再現するために必要な技術要素を同時に身に付けることを目標とする.

論文読解1:The smart floor: a mechanism for natural user identification and tracking

Short Paper

Robert J. Orr and Gregory D. Abowd. 2000. The smart floor a mechanism for natural user identification and tracking. In CHI '00 Extended Abstracts on Human Factors in Computing Systems (CHI EA '00). ACM, New York, NY, USA, 275-276. DOI=10.1145/633292.633453 http://doi.acm.org/10.1145/633292.633453

2ページの英文ショートペーパーです.ロードセルを利用したシンプルなユーザ識別装置に関する報告です.識別にはユークリッド距離を 利用しています.なお,ウェブで検索をするとフルペーパーも見つかるので,詳細はそっちで確認することをおすすめします.ユーザが歩いた際における圧力や時間,力の分散などを特徴量として学習済みの特徴量をf,入力データをf'(ダッシュ)とした場合,次のような計算で距離を求めると,様々な学習済みデータとどの程度入力データがことなるのかを計算できるようになります. 本講義でのもっとも基本的で重要な考え方なので,しっかり理解しましょう.

* Nearest Neighbor参考ページ:インタラクションデザインの為のパターン認識入門

論文読解2:手軽な指文字学習支援のためのブラウザゲーム:ゆびもじタイピング

宮崎 優子 馬場 哲晃
概要
聴覚障がい者のコミュニケーションツールには,単語を手の形や位置,動きで表現する手話と,日 本語かなを手の形や動きに対応させた指文字がある.指文字は手話表現にない固有名詞や名前を表現する ときに使われ,手話初心者にとって手話を覚えていなくても指文字を覚えれば単語を綴ることができる. したがって,指文字をスムーズに綴れることは,手話初心者にとって聴覚障がい者との円滑なコミュニ ケーションへの第一歩と言える.手話の学習方法としては対面で講師から学ぶ方法が主であるが,これは 学習者にとって時間的・金銭的コストがかかる.一方で,学習者が単独で手話を学ぶには,本や DVD を 使った方法があるが,これらは指文字を一字ずつ覚えることはできても,実際に指文字を使うときのよう な単語を綴りながらの指文字練習は紙面やコンテンツ数の制約により,限界があった.そこで本研究では 学習者に単語を提示し,学習者がその単語を指文字で綴ることで指文字学習定着および技能向上を目的と するタイピングゲームを制作する.このゲームはブラウザゲームとして実装・公開することによって,イ ンターネット環境と Web カメラの搭載された PC のみで学習者の手軽な指文字学習を可能にする.

Hand Mario

この授業用の特別教材を準備しました.笑顔認識ができるようになったので,表情を認識させることができるようになりました.先の論文では冷蔵庫の開閉にインタラクションをデザインしていましたが,これをゲーム操作インタフェースとして応用してみます.スーパーマリオブラザーズを模したp5jsのコードをベースにして,表情認識でマリオを操作してみます.

論文読解3: 学習者の匿名音声干渉を利用したオンライン授業の実施と考察

NeuralNet Challenge

ここではまずは実際にNeuralNetを自分でコーディングし,その振る舞いを理解した後に楽しいサンプルを触っていきます.

ml5.js

機械学習をjsで利用可能なライブラリml5に関してDanielがいくつかの動画を挙げてくれています。

授業では1つ目の動画を実際にたどりながらニューラルネットの基本原則を理解します。

Teachable Machine

実際に自分でニューラルネットを設計して実装していくのもよいですが、すでにGoogleによって超すごいフレームワークが提供されています。その名はTeachable Machineです。まずは以下の動画で実際になにを行うかをみて、自分でもやってみます。先で述べたml5.jsライブラリを利用して、training自体を簡単にできるようにまとめたものだと思ってください。

Reference

Deep Learningに興味をもって基本的なことや背景などをもう少し知りたい人には下記の書籍をオススメします

jsを少し詳しく学ぼう

この回では、jsを利用して最終課題をコーディングしていく際、もう少しプログラミングそのものに焦点を充てて学習をしておいたほうが良いかと思います。基本的なjsの文法をさらったのち、実用的なプログラミングで役立つ機能を学習します。