指文字入力サイトのベータ版を公開しました。
https://yubimoji.harunireworks.com/
ハルニレワークスでは、カメラに向かって指文字を出すと、文字として入力できるサイトを公開しました。入力した文章をまとめて音声で読み上げることもできます。
人とつながって、楽しくやっていきたい。ろう者として、社会を動かす存在になれたら。そんな思いを、ソフトウェアという形でも少しずつ実現していこうと取り組んでいます。
今回公開したのは、開発途中のベータ版です。まずは実際に使っていただきながら、改善していきたいと思っています。
できること
・現在は片手の指文字を認識します。静止した手の形に加えて、動きのある文字や、濁音・半濁音・長音・小さい文字も認識の対象にしています。
・まだ読み間違いや、読み取れないことがあります。使う人の手の形や出し方、カメラ、明るさなどによっても結果が変わります。数字や、手話の会話全体を日本語に翻訳する機能には、現時点では対応していません。
使い方
- サイトを開き、データ送信についての説明を確認して同意します
- カメラの使用を許可します
- 手全体が映るようにして、指文字を出します
まずは「あいうえお」など、短い入力から試してみてください。入力結果は画面で確認し、読み間違いがあれば修正してご利用ください。
開発者のパソコンとスマートフォンでは入力を確認できました。すべての端末・ブラウザでの動作を保証するものではありません。
データの扱いについて
ブラウザで読み取った手の位置を表す座標データをサーバーへ送り、登録済みの見本と照合します。カメラ映像や音声をアップロードする設計ではありません。照合に使う見本データは、一般公開しない形で管理しています。
見本の提供に協力いただくための登録ページも用意しました。こちらは協力者向けのパスワード制です。提供された見本は確認待ちとして保存し、そのまま自動で認識に追加する仕組みにはしていません。
一緒に育てていけたら
「この文字が読み取りにくかった」「この端末では動かなかった」など、気づいたことがあればぜひ教えてください。試した文字や言葉、端末・ブラウザが分かると、改善の参考になります。
まずは指文字入力を使いやすく。その先には、手話認識や、手話を使った表現を広げるソフトウェアにも取り組んでいきたいと考えています。
ぜひ、指文字で入力する体験をしてみてください。
HarunireWorks 共同代表
藤田 康平