ロボット研究

今度は、ちゃんとしたコントをやらせようと思う。
今まで作ったシスデムでかなりこなせるはずだ。
多分、naoqiなど開発ツールは相当更新されていると思うが、頭が戻るまでは、今までのシステムをそのまま使う。
まず、自分が何を作ったのかを思い出そう。このサイトにほとんどが書いてあるので、それを追うしかない。
まず、ロボットの充電から始めるか。
潰してしまった32bitLinuxを作り直そうか。

A French student asked me a question about how to display the video. He used the system to send message on the Aldebaran community site. I write this article for answering his question. The followings are two javascript functions "GetVideoImages()" and "DrawImage()" for displaying the video images that the robot get with his camera.  "Ibot" is an object on my javascript file. If you have another question, please use the aldebaran message system.

 1     ///////////////////////////////////////////////////
 2     // Display Video Images
 3     ////////////////////////////////////////////////////
 4     Ibot.session = null;
 5     Ibot.displayVideo = false;
 6     Ibot.savedSubscriberID = null;
 7
 8     Ibot.getVideoImages = function(ipaddress){
 9         $("#subMenu").fadeOut("fast");
10         Ibot.newConnect(ipaddress, function (ret,session) {
11             Ibot.session = session;
12             if (ret === "success") {
13                 Ibot.session.service("ALVideoDevice").done(function (vdev) {
14                     var fps = 1; // frame number
15                     var subID = "subscriberID";
16                     vdev.subscribeCamera(subID, 0, 1, 11, fps).done(function (subscriberID) {
17                         $("#videoStop").unbind();
18                         $("#videoStop").click(function(){
19                             Ibot.displayVideo = false;
20                             vdev.unsubscribe(subscriberID);
21                         });
22                         $("#dialogOK").unbind();
23                         $("#dialogOK").click(function () {
24                             Ibot.displayVideo = false;
25                             vdev.unsubscribe(subscriberID);
26                             $("#mdialog").fadeOut("fast");
27                             $("#glayLayer").fadeOut("fast");
28                         });
29                         var delay = 1000/fps;// interval for timer
30                         $( 'input[name="fpsValue"]:radio' ).change( function() {
31                             Ibot.showConfirm("Network is too slow. It is possible for the robot to stop.",function(ret){
32                                 if(ret === "OK"){
33                                     var newFps = $(this).val(); // value
34                                     Ibot.showAlert("Change frame rate. newrate = " + newFps);
35                                     fps = parseInt(newFps);
36                                     vdev.setFrameRate(subscriberID, fps);
37                                     delay = 1000 / fps;
38                                 }else{
39                                     $('input[name="fpsValue"]').val(["1"]);
40                                     fps = 1;
41                                     vdev.setFrameRate(subscriberID, fps);
42                                     delay = 1000 / fps;
43                                 }
44                             });
45                         });
46                         var canvas = $("#videocanvas");
47                         var context = canvas[0].getContext('2d');
48                         var img = context.createImageData(320, 240);
49                         var timer; //timer
50                         Ibot.displayVideo = true;
51                         var loop = function () {
52                             Ibot.drawImage(subscriberID, vdev,context,img);
53                             clearTimeout(timer);
54                             if(Ibot.displayVideo){
55                                 timer = setTimeout(loop, delay);
56                             }else{
57                             }
58                         };
59                         // loop start
60                         loop();
61                     }).fail(function(){
62                         Ibot.showAlert("Fail to subsctibe");
63                     });
64                 }).fail(function(){
65                     Ibot.showAlert("Fail to start video device.");
66                 });
67             } else {
68                 Ibot.showAlert("Fail to connect to the robot.");
69             }
70         });
71     };
72
73     Ibot.drawImage = function(subscriberID,vdev,context,img){
74         vdev.getImageRemote(subscriberID).done(function (video) {
75             var arrayBuf = Ibot.Base64_To_ArrayBuffer(video[6]);
76             var tpx = 320 * 240;
77             var uint8array = new Uint8Array(arrayBuf);
78             for (var j = 0; j < tpx; j++) {
79                 img.data[j * 4] = uint8array[j * 3];
80                 img.data[j * 4 + 1] = uint8array[j * 3 + 1];
81                 img.data[j * 4 + 2] = uint8array[j * 3 + 2];
82                 img.data[j * 4 + 3] = 200;
83             }
84             context.putImageData(img, 0, 0);
85             vdev.releaseImage(subscriberID);
86         }).fail(function (error) {
87             Ibot.displayVideo = false;
88             vdev.unsubscribe(subscriberID);
89             Ibot.showAlert("Fail to get video image. error = " + error);
90         });
91     };
92
93

(You can see a the youtube video at the following address.

Sorry, I say comments in Japanese.)

業界標準のepubフォーマットで組版された電子書籍を、ロボットNAOに読み上げさせるためのローカルモジュール（wsbook）を有限会社ネット書房と共同で開発した。

特徴は次のような点にある。
（１）ロボットとの対話で音読を制御できる
（２）ルビがふってある場合は、ルビの方を読み上げる
（３）指定されたファイル順に読み上げる
（４）ロボットが読み上げる１行には限界があるが、任意の場所で区切らずに、句読点（、。）などで区切った読み方にして、不自然さを回避する。
（５）読了を中止した場所を記憶して、その場所から再開する
（６）書籍の長さは、記憶領域以外の制限はない（長い本でも最後まで読み上げられる：１巻、２巻と分けれている場合は別だが）
（７）自分の書棚の本のリストを読み上げる
などの機能を組み込んだが、まだ、次のような問題はある。
（１）ルビがふっていない、旧仮名遣いの読み上げを間違える。（かなり高度な処理が求められる）
（２）ルビがふっていない、漢字の読みを間違える（学習させる必要があるが、たとえば、どのような状況で金を「かね」とよみ、また「きん」とよむか。文脈解析、自然言語処理の機能が必要になる）
（３）中止は、言葉によるか、前頭部タッチによるかだが、少しバタバタしている。
今後、
（１）ネット書房が有する青空文庫11,000冊のepub書籍を自由に、ロボットに直接（パソコンやスマホを介さずに）ダウンロードして読むことができるようにする。
（２）Gutenbergの30,000冊の英文書籍を読み上げられるようにする。
（３）ユーザーが有しているepub電子書籍を読めるようにする
などの対応を予定している。