『アソシアトロン』中野馨著の第4章概念形成の計算

表題の著作の第4章、4.1「概念形成」にかかれているサンプルを、プログラムして計算してみた。

まず、ベイズ定理を用いた計算は、次のようなプログラムだ。g++の一番新しいもので、linuxマシンでコンパイルすればいいと思う。私は、ubuntu 18.04 のg++でコンパイルしている。他のものの場合は、変更が必要になるかもしれない。(なお、その後知ったことだが、これは単純ベイズ分類器 Naive Bayes Classifier というものである。後の記事でもっと詳しく説明するだろう)

#include <iostream>
#include <string>
#include <cmath>

using namespace std;

double pxAB(int x[], double pq[]);

int main(){

    int x[16][4] = {
        {  0,  0,  0,  0}, //0  
        {  0,  0,  0,  1}, //1  
        {  0,  0,  1,  0}, //2  
        {  0,  0,  1,  1}, //3  
        {  0,  1,  0,  0}, //4  
        {  0,  1,  0,  1}, //5  
        {  0,  1,  1,  0}, //6  
        {  0,  1,  1,  1}, //7  
        {  1,  0,  0,  0}, //8  
        {  1,  0,  0,  1}, //9  
        {  1,  0,  1,  0}, //10 
        {  1,  0,  1,  1}, //11 
        {  1,  1,  0,  0}, //12 
        {  1,  1,  0,  1}, //13 
        {  1,  1,  1,  0}, //14 
        {  1,  1,  1,  1}  //15 
        };
        
    double PA = 0.5;
    double PB = 0.5;
    double p[4] = {0.6, 0.8, 0.8, 0.6};
    double q[4] = {0.4, 0.2, 0.2, 0.2};    
    
    for(int d=0;d<16;d++){
        double PxA = pxAB(x[d],p); 
        double PxB = pxAB(x[d],q); 
        double probBx = (PxB*PA)/(PxA*PA+PxB*PB); 
        double probAx = 1-probBx; 
        string AB; 
        if(probAx > probBx) 
            AB = " ==> A";
        else 
            AB = " ==> B";
        cout << "No." << d << " PAx = " << probAx << " PBx = " << probBx << AB <<endl;
    }
    
}

double pxAB(int x[], double pq[]){
    double prob = 1;
    for(int i=0;i<4;i++){
        prob = prob*pow(pq[i],x[i])*pow(1-pq[i],1-x[i]);
    }
    return prob;
}

以下のように、上記の本に書かれているとおりの結果が出力された。

No.0 PAx = 0.0204082 PBx = 0.979592 ==> B
No.1 PAx = 0.111111 PBx = 0.888889 ==> B
No.2 PAx = 0.25 PBx = 0.75 ==> B
No.3 PAx = 0.666667 PBx = 0.333333 ==> A
No.4 PAx = 0.25 PBx = 0.75 ==> B
No.5 PAx = 0.666667 PBx = 0.333333 ==> A
No.6 PAx = 0.842105 PBx = 0.157895 ==> A
No.7 PAx = 0.969697 PBx = 0.030303 ==> A
No.8 PAx = 0.0447761 PBx = 0.955224 ==> B
No.9 PAx = 0.219512 PBx = 0.780488 ==> B
No.10 PAx = 0.428571 PBx = 0.571429 ==> B
No.11 PAx = 0.818182 PBx = 0.181818 ==> A
No.12 PAx = 0.428571 PBx = 0.571429 ==> B
No.13 PAx = 0.818182 PBx = 0.181818 ==> A
No.14 PAx = 0.923077 PBx = 0.0769231 ==> A
No.15 PAx = 0.986301 PBx = 0.0136986 ==> A

しかし、アソシアトロンのほうがうまく行かない。原因がわかったかたは、ツイッターの @wassiisg まで教えていただきたい。色々テスト、計算過程の検証をしたが、3個のデータについて、ベイズ推定の場合と一致しない。プログラムは、以下のようなものである。

#include <iostream>
#include <string>
#include <cmath>

using namespace std;

void estimation(int v[], int data[][4]);

int main(){
    int data[10][4] = {
        {  1,  1,  1,  1}, // A
        {  1,  1,  1,  0}, // A
        {  1,  1,  0,  1}, // A
        {  0,  1,  1,  0}, // A
        {  0,  0,  1,  1}, // A
        {  1,  0,  0,  0}, // B
        {  0,  1,  0,  0}, // B
        {  0,  0,  1,  0}, // B
        {  1,  0,  0,  1}, // B
        {  0,  0,  0,  0}  // B
        };

    int test[16][4] = {
        {  0,  0,  0,  0}, //0  B
        {  0,  0,  0,  1}, //1  NON X
        {  0,  0,  1,  0}, //2  B
        {  0,  0,  1,  1}, //3  A
        {  0,  1,  0,  0}, //4  B
        {  0,  1,  0,  1}, //5  NON
        {  0,  1,  1,  0}, //6  A
        {  0,  1,  1,  1}, //7  B
        {  1,  0,  0,  0}, //8  B
        {  1,  0,  0,  1}, //9  NON
        {  1,  0,  1,  0}, //10 NON X
        {  1,  0,  1,  1}, //11 NON
        {  1,  1,  0,  0}, //12 NON X
        {  1,  1,  0,  1}, //13 A
        {  1,  1,  1,  0}, //14 A
        {  1,  1,  1,  1}  //15 A
        };

    int M[4][4];
    for(int i=0;i<4;i++){
        for(int j=0;j<4;j++){
            M[i][j] = 0;
        }
    }
    
    for(int d=0;d<10;d++){
        for(int i=0;i<4;i++){
            for(int j=0;j<4;j++){
                int di = data[d][i];
                int dj = data[d][j];
                if(di == 0) di = -1;
                if(dj == 0) dj = -1;
                M[i][j] = M[i][j] + (di*dj);
            }
        }
    }
    cout << "記憶行列 M " << endl;
    for(int i=0;i<4;i++){
        for(int j=0;j<4;j++){
            cout << M[i][j] << " ";
        }
        cout << endl;
    }
    
    cout << "概念形成 " << endl;
    for(int d=0;d<16;d++){
        cout << "No." << d << ":: "; 
        int v[4];
        for(int j=0;j<4;j++) v[j] = 0;
        for(int i=0;i<4;i++){
            for(int k=0;k<4;k++){ 
                int dk = test[d][k]; 
                if(dk == 0) dk = -1; 
                v[i] += M[i][k]*dk; 
            } 
            if(v[i] > 0){
                v[i] = 1;
                cout << "1 "; 
            }else{
                 v[i] = 0;
                 cout << "0 "; 
            }
        }
        estimation(v, data);
        cout << endl;
    }
    
    return 0;
}

void estimation(int v[], int data[][4]){
    double minidist = 10000;
    int minino = -1;
    for(int d=0;d<10;d++){
        double dis = 0;
        for(int j=0;j<4;j++){
            // ユークリッドの距離
            dis += (double)(data[d][j]-v[j])*(data[d][j]-v[j]);
            /*
            // Hamming の距離
            if(data[d][j]-v[j] < 0){
                dis += v[j]-data[d][j];
            }else{
                dis += data[d][j]-v[j];
            }
            */
        }
        // ユークリッドの距離
        dis = sqrt(dis); 
        // Hamming の距離
        //dis = dis/2;
        if(dis < minidist){
            minino = d;
            minidist = dis;
        }
    }
    if(minino < 5) cout << " ==> A ";
    else cout << " ==> B ";    
    cout << "( " << minino << ", " << minidist << " )";
}

出力結果は以下のようになる。

記憶行列 M 
10 2 -2 4 
2 10 2 0 
-2 2 10 0 
4 0 0 10 
概念形成 
No.0:: 0 0 0 0  ==> B ( 9, 0 )
No.1:: 0 0 0 1  ==> A ( 4, 1 )
No.2:: 0 0 1 0  ==> B ( 7, 0 )
No.3:: 0 0 1 1  ==> A ( 4, 0 )
No.4:: 0 1 0 0  ==> B ( 6, 0 )
No.5:: 0 1 0 1  ==> A ( 2, 1 )
No.6:: 0 1 1 0  ==> A ( 3, 0 )
No.7:: 0 1 1 1  ==> A ( 0, 1 )
No.8:: 1 0 0 0  ==> B ( 5, 0 )
No.9:: 1 0 0 1  ==> B ( 8, 0 )
No.10:: 1 0 1 0  ==> A ( 1, 1 )
No.11:: 1 0 1 1  ==> A ( 0, 1 )
No.12:: 1 1 0 0  ==> A ( 1, 1 )
No.13:: 1 1 0 1  ==> A ( 2, 0 )
No.14:: 1 1 1 0  ==> A ( 1, 0 )
No.15:: 1 1 1 1  ==> A ( 0, 0 )

ベイズ推定の場合と比べると3つのデータだけ違った結果を出している。

CUDA nvprof で、Error: incompatible CUDA driver version の対処法

答え:root権限を与えてnvprofを実行する。

例:(「CUDAプロフェッショナルプログラミング」を読んでいるところなので)

sudo /usr/local/cuda-10.0/bin/nvprof --metrics gld_throughput ./sumMatrix 32 32

ちなみに、私の環境は以下のとおり。

$ nvprof --version
nvprof: NVIDIA (R) Cuda command line profiler
Copyright (c) 2012 - 2018 NVIDIA Corporation
Release version 10.0.117 (21)
$ nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2018 NVIDIA Corporation
Built on Sun_Aug_12_21:08:25_CDT_2018
Cuda compilation tools, release 10.0, V10.0.117

デバイスは、Jetpack Xavier です。

Jetson Xavier のセットアップメモ

アソシアトロン でMNISTの手書き数字の認識テストをさせたくてシステムを作った。ただ、6万個の学習データを使って、うまく認識させるためにはベクトルの次元を大きくしなくてはならず、それで学習させると、MacPro の24スレッドをフルに使っても計算に50時間かかる(笑)今それをやらせている。

アソシアトロン の学習とディープラーニングの学習の決定的な違いは、前者が極めて単純な行列計算の膨大な積み重ねになっているところだ。ディープラーニングのバックプロパゲーションというのは、多変数の非線形の最適化で、並列処理が難しい。プロは、うまくやっているのだろうが、相互依存が激しくて、並列処理にふさわしく処理を分割できないのだ。

その点、アソシアトロン は、計算をどこまでも細かく分解できる。

こうなると、GPUの並列処理がうまくいくように思う。ということで、CUDAで並列処理を、久しぶりにやってみようという気になった。Linux用の古いTELSAも持っているし、MAC用のTELSAまで持っている。が、ここは、最新のNVIDIAのJetson Xavier (写真左)を使ってみよう。Xavierは、私が奉職している大学の遠い昔の設立者の方と同じ呼び名である。

今年初めに買ったのだが、セットアップが面倒で、なんども失敗したので放置しておいた。しかし、ここはちゃんと動かさなければならない。

ホストコンピュータは、MacProに入れたVirtualBoxのUbuntu_18.04だ。基本、本家の次のサイトをベースにセットアップすべきだ。
(A) How to Install JetPack
MacのVirtualBoxだから、次のサイトからも色々教えていただいた。
(B) MacBook Pro で Jetson AGX Xavier をセットアップ
本家のサイトのインストラクション通りにやったが、途中でうまくいかなくなった。色々試したので、何が良かったのか、正確にはわからなくなってしまったが、特に大事なポイントだけは記録のために押さえておこう。

大きな流れは、ホストコンピュータにCUDAのツールキットなどのシステムをダウンロードし、デバイスに送信するという二段階になっている。本家の手順に、コメントしておこう。

(1)最初は、本家(A)の手順6のComponent Managerでは、Fullを選んでおけば良い。ここを進むと、インストールが開始されるが、それは、ホストコンピュータに必要なシステムがダウンロードされることとと理解しておく。
(2)次に、デバイスに送り込む手続きに入る。手順9にFlash OSを手順6で選ぶかどうかのことが書かれているが、最初は選んだままで良い。その際、ちゃんとUSBでホストとデバイスを繋いでおかなければならない。VirtualBoxの場合は、通常はMACがUSBを使っているので、Ubuntuに変更しなくてはならないことを忘れないように。
(3)そうすると手順10でネットワークの形式を聞いてくるが、ここは標準で選択されているUSB経由のネットワークにしておけば良い。USB経由のネットワークのIPアドレスが割り振られる。
(4)そうすると、手順14が出てくる。この辺りから混乱してくる。当初のリカバリーモードとは違って、一旦 デバイスのUbuntuを立ち上げた後のリカバリーモードで、違うようなのだ。実際、押すボタンも違う。ここは、手順14に忠実にやる。その際、USBがちゃんと繋げてないとエラーになる。
(5)しかし、ここで途中で止まってしまう現象に出くわし、困った。そこで、サイト(B)の教示に従う。つまり、その時は、一旦、CTL-Cでターミナルを閉じて、終了画面を出させて、ダウンロードしたものを削除せずに、インストールウィンドウも閉じる。そして、再度、デバイスを普通に立ち上げて、そこに割り振られたIPアドレスを確認する。
(6)その後、再度、NVIDAのインストーラを立ち上げる。手順9で、FLASH OSのインストールをしないように、no actionにする。ここがポイント。そうすると、次に、デバイスのIPアドレスとユーザー名とパスワードを聞いてくる。ここで、IPアドレスは先に確認したもの、ユーザー名はnvidia、パスワードもnvidiaと入れていけば、次に、インストールが開始される(!!)。なお、(B)では、nvidiaではなく、ubuntuと書いてあるが、私の場合、ubuntuでは失敗した。そのユーザーはあるが、ここは、基本的ユーザーのnvidiaにしなければならなかった。

全く、なんども失敗し、実に面倒だった。

なお、そのままほっておくと、デバイスはチンチかちんに熱くなる。心配になるので、ホームにある、./jetson_clocks.shをsudoで動かすと、ファンがうるさいほど回ってくれるので、すぐ冷却される。

./jetson_clocks.shは、CPUやGPUのクロックを確認するツールらしい。こちらで少し説明がされている。

また、サンプルは、

$ cd
$ ./jetson_clocks.sh
$ cd /usr/local/cuda/bin
$  sudo –user=nvidia ./cuda-install-samples-10.0.sh  /home/nvidia
$ cd  /home/nvidia/NVIDIA_CUDA-8.0_Samples
$ make -j 8
$ cd  5_Simulations/smokeParticles
$ ./smokeParticles

で実行させることができる。コンパイルには時間がかかるので、注意。実行の様子は、以下のツイッターの動画をみてください。

こちらを参考にさせていただいた。

これから、こちらもまた面倒なのだが、CUDAでC++プログラミングである。

期限切れの無線ルーターを上手に使う

昨夜、事務所(松竹芸能)のネタ見せが角座であった。なんと、無線ルーターにロボットが接続できず、ネタを披露できないというロボットをネガに使い始めて初めての大失態を犯した。多分で、伝説になると思う。

その原因は、先月まで2年間使っていたWIFIのルーター(左)が、契約切れで、新しいものを契約せず、簡易なWIFIルーター(右)を使ったことだ。

おそらく、簡易WIFIの電波が弱く、ちょっとの移動でロボットとの接続が切れてしまったためだと思う。外から、劇場にロボットをルーターと接続したまま持ち込むのだが、その途中に切れてしまったのだ。もっと十分なテストをすべきだった。

帰りながら、前のルーターは、ローカルにロボット同士をつなぐのには、別に契約が切れても大丈夫なのではないかと思いついた。こちらは、ローカルの配信に使う電波は十分に強いだろう。

契約切れでも、案の定、ローカルのロボットもパソコンもスマホも、相互接続を難なく繋げることができた。しかも、インターネットに接続したWIFIにつなぐことができることもわかった。自宅のWIFIモスマホのテザリングも繋ぐことができた。

しかも、こちらの方は電波が強く安定していることは間違いない。これでいける!!

2019年3月7日:結局どちらも使いもにならないことがわかった。一応繋がるが、安定しない。繋がらない状況や接続の切断が発生する

アソシアトロン の原理

人工知能の分野では、ディープラーニングなどの階層的ニューラルネットワークが脚光を浴びている。確かに、驚くべき成果を挙げているのだから、それは当然のことである。しかし、それが人間の脳のニューラルネットワークをシミュレートしているかといえばそうではないだろう。ディープラーニングが、その基礎的パーツとして神経回路網的構造を持っていることは確かだが、人間の脳もそのようにシステマティックに階層化されたネットワーク層を積み重ねているとは到底思えない。

人間の脳は、もっと非構造的システムのはずだ。脳には、領域ごとに違った機能を果たしていることはわかっている。しかし、その領域そのものが莫大な冗長性を持ったものであり、漠然とした機能の瞬間的作用から、人間の意識を想像している感じなのである。

そのように考えていた時、アソシアトロン というものに出会った。実は、私が30年以上前、岩手大学にいた頃、今のディープラーニングにつながるニューラルネットワークを研究していた頃、すでにこのアソシアトロン というものは世に出されていた。名前は知っていたのだ。が、当時の、バックプロぱゲーションなどを実装した並列処理システム、ニューラルネットワークの勢いの中で、真剣に考えてみたいテーマではなかったから、具体的にどのように実装するなどというところまでは全く行かなかった。

しかし、今この時に、改めてその内容を捕まえてみると、とても興味深い。そうだ、人間の脳は、きっとこんな感じなのだと思わせる、単純で、それでいてニューラルネットワークらしい漠然として機能を有している気がしてきた。

改めて、その理論の中身を捉えてみた。それは以下にまとめておいた。

アソシアトロン の原理
アソシアトロン の原理

この原理説明のpdf文書を見ていただければ明らかなように、このアソシアトロン が必ずしもそのものではない情報から記憶を再現できるのは、パターンが、そのパターンの次元倍のネットワークの中に、パターン情報を分散させるからなのである。原理的なアイデアはこれに尽きると思う。

今日のコンピュータ機能の進化した状況の中で、この単純さと優れた機能は改めて見直されるべきだと思う。

prolog化した『羅生門』を二分木検索する

prologのファクト文に変換した「羅生門」をどう使っていくか、使う過程で、さらにprolog化の方法をどう改良していくかが、次の課題となっている。

どう使っていくかの手始めに、先の羅生門の全文二分木化したものを検索するルールを使ってみよう。先の二分木を改良したもの(したがってJAVAプログラムそのものも改良)に、ルールを加えたswi-prolog用のスクリプトをzipで圧縮したものを以下においておく。

rashomon.zip

ダウンロードし、unzipする。冒頭に、検索のprologルールが記載され、その後、羅生門全文の二分木になっている。冒頭のルールだけを再掲すると以下のようなものである。

%%%%%%%%%%%%%%%%%%%%%%%%%
%% 「羅生門」の二分木探索
%%%%%%%%%%%%%%%%%%%%%%%%%
%%% 節(1)
% 右葉の探索
% 見つけたら、その語以外(AおよびB)を取得する
rsearch(S,node(A,B,S),A,B).
% リストの場合も受け入れる
rsearch(S,node(A,B,L),A,B) :- member(S,L). %% リストの場合の処理
% 上で一致しなかったら、左右のノードの内側を調べる
rsearch(S, node(_, Y, _), A, B) :- rsearch(S, Y, A, B).
rsearch(S, node(_, _, Z), A, B) :- rsearch(S, Z, A, B).
% 左葉の探索:基本右葉と同じ
lsearch(S,node(A,S,B),A,B).
lsearch(S,node(A,L,B),A,B) :- member(S,L).
% ここは、右と全く同じになる
lsearch(S, node(_, Y, _), A, B) :- lsearch(S, Y, A, B).
lsearch(S, node(_, _, Z), A, B) :- lsearch(S, Z, A, B).

%%% 検索、表示(2)
% 検索語を右側にした部分文章
right(X) :- rashomon(P,T),rsearch(X, T, A, B),write(P),write(': '),printnode(B),printnode(A),printnode(X),nl.
% 検索語を左側にした部分文章
left(X) :- rashomon(P,T),lsearch(X, T, A, B),write(P),write(': '),printnode(X),printnode(A),printnode(B),nl.

%%% ノードの表示(3)
% 対象がatomならば、そのまま表示
printnode(N) :- atom(N),write(N).
% 対象が空でないリストならば、最初の項の表示
printnode(N) :- [X|_] = N,printnode(X). 
% 対象が空リストならば'/'(半角スラッシュの表示)
printnode(N) :- [] = N,write('/'). %% 空リストでもtrueにする
% 対象がnodeならば、元の言葉の順序で表示(葉がnodeならば再帰的に表示する:ただし、node語がnodeは含まない)
printnode(N) :- node(X,Y,Z) = N,printnode(Y),printnode(X),printnode(Z).

このprologは、二分木の右の葉から語句を検索するものと、左の葉から検索するものの、二つのルールからなっている。

実行例を以下に示そう。

$ swipl ← ターミナルからswirl-prologを起動する
Welcome to SWI-Prolog (threaded, 64 bits, version 7.6.4)
SWI-Prolog comes with ABSOLUTELY NO WARRANTY. This is free software.
Please run ?- license. for legal details.

For online help and background, visit http://www.swi-prolog.org
For built-in help, use ?- help(Topic). or ?- apropos(Word).

1 ?- ['rashomon.swi']. ← 解凍したRashomon.swiを読み込む
true.

2 ?- left(下人). ←  左の葉から、「下人」を検索する、パラグラフ、行番号とともに結果が出力される。1行しか示されないので、次を示すためには; セミコロンを入れる
line_0_1: 下人が羅生門の下で雨やみを待っていた/
line_3_6: 下人は七段/ある/石段の一番上の段に洗い/ざらした/紺の襖の尻を据えて/右の頬に出来た//大きな面皰を気にしながらぼんやり/雨のふるのを眺めていた/
line_4_0: 下人が雨やみ
line_4_1: 下人は雨がやんでも格別/どう/しようと云う/当てはない//
line_4_6: 下人が雨やみ
line_4_6: 下人が行き所がなくて/途方にくれていたと云う/方が適当である//
line_4_7: 下人のSentimentalismeに影響//
line_4_9: 下人は何をおいても差当り明日の暮しをどうにか/しようと云わば/どうにも/ならない事をどうにか/しようととりとめもない/考えをたどりながらさっきから朱雀大路にふる/雨の音を聞くともなく/聞いていたのである/
line_6_3: 下人の考え
line_6_5: 下人は手段
line_7_0: 下人は/大きな嚔をして/それから大儀/そうに立/上った//
line_8_0: 下人は頸をちぢめながら山吹の汗袗に重ねた/紺の襖の肩を高くして門のまわりを見まわした/
line_8_4: 下人はそこで腰にさげた/聖柄の太刀が鞘/走らないように気をつけながら藁草履をはいた/足をその/梯子の一番下の段へふみかけた/
line_9_4: 下人は始め
line_10_0: 下人は守宮のように足音をぬすんで/やっと/急な/梯子を一番上の段まで這うようにして上り//
line_12_0: 下人はそれらの死骸の腐爛/した/臭気に思わず/鼻を掩った/
line_13_0: 下人の眼はその/時/はじめて/その/死骸の中に蹲っている人間を見た//
line_14_0: 下人は六分の恐怖と四分の好奇心とに動かされて暫時は呼吸をするのさえ忘れていた/
line_15_0: 下人の心から
line_16_0: 下人には勿論/何故/老婆が死人の髪の毛を抜くかわからなかった/
line_16_2: 下人にとってはこの/雨の夜にこの/羅生門の上で死人の髪の毛を抜くと云う/事がそれだけで既に/許す/べからざる悪であった/
line_17_0: 下人は両足
line_20_0: 下人は老婆が死骸につまずきながら慌てふためいて/逃げようと行手を塞いで/こう/罵った//
line_20_2: 下人はまたそれを行かすまいと押しもどす//
line_20_5: 下人はとうとう/老婆の腕をつかんで/無理に/そこへ○/じ/倒した//
line_22_0: 下人は老婆
line_22_3: 下人は始めて/明白に/この/老婆の生死が全然/自分の意志に支配れていると云う/事を意識//
line_22_6: 下人は老婆
line_26_0: 下人は老婆の答が存外/平凡なのに失望//
line_29_0: 下人は太刀を鞘におさめて/その/太刀の柄を左の手でおさえながら冷然として/この/話を聞いていた/
line_29_2: 下人の心には/ある勇気が生まれて来た/
line_29_5: 下人は饑死をするか盗人になるかに迷わなかったばかりではない/
line_31_0: 下人は嘲るような声で念を押した//
line_33_0: 下人はすばやく/老婆の着物を剥ぎとった//
line_33_3: 下人は剥ぎとった/檜皮色の着物をわきにかかえて/またたく間に/急な/梯子を夜の底へかけ/下りた//
line_35_0: 下人の行方は誰も知らない/

3 ?- right(下人). % 続いて、右の葉から「下人」を検索する
line_4_5: 今/この/下人
line_15_4: この/下人
line_15_4: 恐らく/下人
line_16_3: 勿論/下人
line_20_1: それでも下人
line_24_0: その/下人
line_24_4: 喘ぎ喘ぎ/下人

左の葉から下人を選択すると、下人についてのアクティブな文章を出力される。右の葉の場合は、もっと、受動的なものとなるが、下人がそのような受動的な扱いをされている文章がより少ないことがわかる。それがどこの文章に当たるかは、冒頭の line_XX_XX の部分でわかる。

どのような文章を引き出すかは、その文章に関するリスト構造と、ルートフレーズをどのように設定してあるかに依存する。

芥川龍之介『羅生門』全文をprolog宣言文に変換した

この間作成したJAVAの変換プログラムで、青空文庫にある芥川龍之介「羅生門」の全文を、二分木のprologの宣言文にした(プログラムは、その後改定されているが、まだgithubには反映されていない)。結果は、ベタでここに載せるのは長すぎるので、以下のzipファイルをダウンロードし解凍して、適当なテキストエディタでご覧ください。

jprolog.swi.zip

具体的な手法などは、前の記事を参照のこと。変換にかかった時間は、1分2.832秒で、許容範囲。

swiprologに読み込にかかる時間は、ほんの一瞬。listingした結果(一部)は以下のような感じだ。

washida:~/Project/Robot/MakeKnowledge/JProlog/data $ swipl -f jprolog.swi 
Welcome to SWI-Prolog (threaded, 64 bits, version 7.6.4)
SWI-Prolog comes with ABSOLUTELY NO WARRANTY. This is free software.
Please run ?- license. for legal details.

For online help and background, visit http://www.swi-prolog.org
For built-in help, use ?- help(Topic). or ?- apropos(Word).

1 ?- listing.

:- dynamic exception/3.
:- multifile exception/3.


plsample19(line0, node(へ, node([], [], どこ), node([], 行く, []))).
plsample19(line1, node([], [], [])).

plsample11(line0, node(あるが, node(の, node(と, 見る, 楼), node(には, 内, node(に, 噂, node([], [聞いた, 聞く], node([], 通り, node(つかの, 幾, node(が, 死骸, node([], 無造作に, [棄てて, 棄てる])))))))), node(の, 火, node(の, 光, node([], 及ぶ, node(が, 範囲, node(より, [思った, 思う], node(ので, 狭い, node(は, 数, node(つとも, 幾, node(ない, [わから, わかる], []))))))))))).
plsample11(line1, node(である, node(ながら, node([], ただ, おぼろげ), node(は, 知れるの, node(に, node([], その, 中), node(と, node(の, 裸, 死骸), node(を, 着物, node([], [着た, 着る], node(とが, 死骸, node(と, ある, node([], いう, 事))))))))), [])).
plsample11(line2, node(いるらしい, node(には, node([], 勿論, 中), node(も, 女, node(も, 男, [まじって, まじる]))), [])).
plsample11(line3, node(だと, node(は, node([], node([], そうして, その), 死骸), node(が, node([], 皆, それ), node([], かつて, node(いた, [生きて, 生きる], 人間)))), node([], 云う, node(さえ, 事実, node(れる, [疑わ, 疑う], node([], ほど, node(を, 土, node([], [捏ねて, 捏ねる], node([], [造った, 造る], node(のように, 人形, node([], node(を, 口, [開いたり, 開く]), node(を, 手, node(して, [延ばしたり, 延ばす], node(の, node([], ごろごろ, 床), node(に, 上, node(いた, [ころがって, ころがる], [])))))))))))))))).
plsample11(line4, node(しかも, [], node(とか, 肩, node(とかの, 胸, node(なっている, 高く, node(に, 部分, node(の, node([], node([], ぼんやり, [した, する]), 火), node(を, 光, node([], [うけて, うける], node(の, node(なっている, 低く, 部分), node(を, 影, node([], 一層, node(しながら, 暗く, node(に, 永久, node(の如く, 唖, node(いた, [黙って, 黙る], [])))))))))))))))).

plsample35(line0, node(の, 下人, node(は, 行方, node(も, 誰, node(ない, [知ら, 知る], []))))).
・・・・・・
・・・・・・
以下延々と続く

使い方のヒントは、例えばこの記事を参考に。

『吾輩は猫である』冒頭のprolog化

作成したJAVAプログラムJPrologで、夏目漱石「吾輩は猫である」の冒頭部分のパラグラフ全体をprolog化してみた。KNPが一度の処理を300字くらいを限界にしているので、パラグラフ全体を一挙にはできず、文章一つづつのprolog化になり、全体で3.5秒ほどかかった。

まだ、形態素解析の部分や、ノードとリーフの語の形成に不満はあるが、それは後でじっくり治していこうと思う。まず、どれだけやれるのかを確かめたい。この後、さらに長い文書をやらせようと思っている。

swiprologに読み込ませたが、いくつか問題を克服したのち、以下の状態では、正常に読み込んでいる。主に問題は、動詞の活用形と原型のリストをめぐってのものだった。仕様を、いかに記載したように改訂した。

plsample(line0,
    node(は,
        吾輩,
        node(である,
            猫,
            [ ]
        )
    )
).
plsample(line1,
    node(は,
        名前,
        node([],
            まだ,
            node([],
                無い,
                [ ]
            )
        )
    )
).
plsample(line2,
    node(か,
        node(で,
            どこ,
            [生れた, 生れる]
        ),
        node([],
            とんと,
            node(が,
                見当,
                node(ぬ,
                    [つか, つく],
                    [ ]
                )
            )
        )
    )
).
plsample(line3,
    node(だけは,
        node(いた,
            node([],
                node(で,
                    node([],
                        node([],
                            node([],
                                node([],
                                    何でも,
                                    薄暗い
                                ),
                                じめじめ
                            ),
                            [した, する]
                        ),
                        所
                    ),
                    ニャーニャー
                ),
                [泣いて, 泣く]
            ),
            事
        ),
        node(いる,
            [記憶, [して, する]],
            [ ]
        )
    )
).
plsample(line4,
    node(は,
        吾輩,
        node(で,
            ここ,
            node([],
                [始めて, 始める],
                node(を,
                    node([],
                        node(と,
                            人間,
                            いう
                        ),
                        もの
                    ),
                    node([],
                        [見た, 見る],
                        [ ]
                    )
                )
            )
        )
    )
).
plsample(line5,
    node(しかも,
        [],
        node(と,
            node(で,
                あと,
                聞く
            ),
            node(は,
                それ,
                node(と,
                    書生,
                    node([],
                        いう,
                        node(中で,
                            人間,
                            node([],
                                一番,
                                node(な,
                                    獰悪,
                                    node(であったそうだ,
                                        種族,
                                        [ ]
                                    )
                                )
                            )
                        )
                    )
                )
            )
        )
    )
).
plsample(line6,
    node(は,
        node(と,
            node([],
                この,
                書生
            ),
            いうの
        ),
        node(を,
            node([],
                時々,
                我々
            ),
            node([],
                [捕まえて, 捕まえる],
                node([],
                    [煮て, 煮る],
                    node(と,
                        食う,
                        node([],
                            いう,
                            node(である,
                                話,
                                [ ]
                            )
                        )
                    )
                )
            )
        )
    )
).
plsample(line7,
    node(しかし,
        [],
        node(は,
            node([],
                その,
                当時
            ),
            node([],
                node([],
                    node([],
                        node(から,
                            node(も,
                                node(何という,
                                    [],
                                    考
                                ),
                                なかった
                            ),
                            別段
                        ),
                        恐
                    ),
                    [し, する]
                ),
                node([],
                    いとも,
                    node(なかった,
                        [思わ, 思う],
                        [ ]
                    )
                )
            )
        )
    )
).
plsample(line8,
    node(の,
        node([],
            ただ,
            彼
        ),
        node(に,
            掌,
            node(られて,
                [載せ, 載せる],
                node(と,
                    スー,
                    node(られた,
                        [[持ち, 持つ], [上げ, 上げる]],
                        node([],
                            時,
                            node([],
                                何だか,
                                node([],
                                    フワフワ,
                                    node([],
                                        [した, する],
                                        node(が,
                                            感じ,
                                            node(ばかりである,
                                                [あった, ある],
                                                [ ]
                                            )
                                        )
                                    )
                                )
                            )
                        )
                    )
                )
            )
        )
    )
).
plsample(line9,
    node(の,
        掌,
        node(で,
            上,
            node(の,
                node([],
                    node([],
                        少し,
                        [落ちついて, 落ちつく]
                    ),
                    書生
                ),
                node(を,
                    顔,
                    node(が,
                        [[見た, 見る], の],
                        node(いわゆる,
                            [],
                            node(と,
                                人間,
                                node([],
                                    いう,
                                    node(の,
                                        もの,
                                        node(であろう,
                                            見始め,
                                            [ ]
                                        )
                                    )
                                )
                            )
                        )
                    )
                )
            )
        )
    )
).
plsample(line10,
    node(が,
        node([],
            node(だと,
                node([],
                    node([],
                        node([],
                            この,
                            時
                        ),
                        妙な
                    ),
                    もの
                ),
                [思った, 思う]
            ),
            感じ
        ),
        node(でも,
            今,
            node(いる,
                [残って, 残る],
                [ ]
            )
        )
    )
).
plsample(line11,
    node(れ,
        node([],
            node(を,
                第一毛,
                [もって, もつ]
            ),
            [装飾, [さ, する]]
        ),
        node(の,
            べきはず,
            node(が,
                顔,
                node([],
                    つる,
                    node([],
                        [つるして, つるす],
                        node([],
                            まるで,
                            node(だ,
                                薬缶,
                                [ ]
                            )
                        )
                    )
                )
            )
        )
    )
).
plsample(line12,
    node(が,
        node([],
            node(にも,
                node([],
                    その後,
                    猫
                ),
                だいぶ
            ),
            [逢った, 逢う]
        ),
        node(が,
            node([],
                node(度も,
                    node(には,
                        node([],
                            こんな,
                            片輪
                        ),
                        一
                    ),
                    [出会した, 出会す]
                ),
                事
            ),
            node([],
                ない,
                [ ]
            )
        )
    )
).
plsample(line13,
    node([],
        [のみ, のむ],
        node(ず,
            [なら, なる],
            node(の,
                顔,
                node(が,
                    真中,
                    node([],
                        あまりに,
                        node(いる,
                            [突起, [して, する]],
                            [ ]
                        )
                    )
                )
            )
        )
    )
).
plsample(line14,
    node([],
        そうして,
        node(の,
            node([],
                その,
                穴
            ),
            node(から,
                中,
                node(を,
                    node(と,
                        node([],
                            時々,
                            ぷうぷう
                        ),
                        煙けむり
                    ),
                    node([],
                        吹く,
                        [ ]
                    )
                )
            )
        )
    )
).
plsample(line15,
    node(くて,
        node([],
            どうも,
            咽むせぽ
        ),
        node([],
            実に,
            node([],
                [弱った, 弱る],
                [ ]
            )
        )
    )
).
plsample(line16,
    node(が,
        これ,
        node(は,
            node(である,
                node([],
                    node(と,
                        node([],
                            node(の,
                                人間,
                                飲む
                            ),
                            煙草
                        ),
                        いう
                    ),
                    もの
                ),
                事
            ),
            node([],
                ようやく,
                node([],
                    この頃,
                    node([],
                        [知った, 知る],
                        [ ]
                    )
                )
            )
        )
    )
).

KNPのサーバーモードとJPrologの処理速度

先の記事で示した、JPrologのソースを見ていただければわかるように、JumanとKNPは、サーバーモードで起動している。理由は、その方が、JAVAからストリーム処理を真剣にしなくてもいいので、プログラムが簡素になることと、何よりも、スピードが違うらしいからである。

確かにcabochaと比べるとKNPは遅い感じはある。一つの文章を処理させるのにかかるトータルな時間は、実感としてKNPは遅いが、KNPをサーバーで立ち上げて、多分、データの読み込みなどのオーバーヘッドを吸収するので、複数の文章を処理させれば早くなりそうだ、ということである。

それでもcabochaよりは遅いのだろうが、実感としての遅さは感じない。

JAVAによるKNPをベースにしたprolog化

KNPをベースに、文章をprolog化するJPrologが一通りできた。

これまでも用いている芸人の定義をprolog化するとその出力は次のようになった。なお、プログラムそのものは、GitHubのJPrologレポジトリにおいてある。Cabochaバージョンは、これによって上書きされたので消去された。
https://github.com/toyowa/JProlog

run:
Jumanをサーバーモードでスタートさせました
KNPをサーバーモードでスタートさせました
Juman および KNP クライアントを開始しました
Juman: KILLシグナルを送りました PID = 25064
KNP: KILLシグナルを送りました PID = 25063
%%--------------------------------
%% 「芸人とは、なんらかの技芸や芸能の道に通じている人、または身に備わった技芸や芸能をもって職業とする人のことを指す日本特有の概念である」のprolog化
%%--------------------------------
No.0 芸人,とは 	Kakari:16 type:D score:991
No.1 なんらか,の 	Kakari:3 type:D score:1000
No.2 技芸,や 	Kakari:3 type:P score:1000
No.3 芸能,の 	Kakari:4 type:D score:1000
No.4 道,に 	Kakari:5 type:D score:997
No.5 [通じて, 通じる],いる 	Kakari:6 type:D score:400
No.6 人,または 	Kakari:14 type:P score:1100
No.7 身,に 	Kakari:8 type:D score:997
No.8 [備わった, 備わる],[] 	Kakari:10 type:D score:-1
No.9 技芸,や 	Kakari:10 type:P score:1000
No.10 芸能,を 	Kakari:11 type:D score:1000
No.11 [もって, もつ],[] 	Kakari:13 type:D score:-1
No.12 職業,と 	Kakari:13 type:D score:988
No.13 する,[] 	Kakari:14 type:D score:-1
No.14 人,の 	Kakari:15 type:D score:1000
No.15 こと,を 	Kakari:16 type:D score:1000
No.16 指す,[] 	Kakari:19 type:D score:-1
No.17 日本,[] 	Kakari:18 type:D score:-1
No.18 特有の,[] 	Kakari:19 type:D score:-1
No.19 概念,である 	Kakari:-1 type: score:400
%% フレーズ番号リストのトークン = [ r0 [ 1 2 3 4 5 r6 [ 7 8 r9 10 11 12 13 ] 14 15 ] 16 17 18 19 ] 
%% Prolog宣言
pl001(a01,
    node(とは,
        芸人,
        node(または,
            node(いる,
                node(に,
                    node(の,
                        node(や,
                            node(の,
                                なんらか,
                                技芸
                            ),
                            芸能
                        ),
                        道
                    ),
                    [通じて, 通じる]
                ),
                人
            ),
            node(や,
                node([],
                    node(に,
                        身,
                        [備わった, 備わる]
                    ),
                    技芸
                ),
                node(を,
                    芸能,
                    node([],
                        [もって, もつ],
                        node(と,
                            職業,
                            node([],
                                する,
                                node(の,
                                    人,
                                    node(を,
                                        こと,
                                        node([],
                                            指す,
                                            node([],
                                                日本,
                                                node([],
                                                    特有の,
                                                    node(である,
                                                        概念,
                                                        [ ]
                                                    )
                                                )
                                            )
                                        )
                                    )
                                )
                            )
                        )
                    )
                )
            )
        )
    )
).

後半のprologの宣言文は、swiprologで問題なく解釈されている。listingすると、次のようになっている。

pl001(a01, node(とは, 芸人, node(または, node(いる, node(に, node(の, node(や, node(の, なんらか, 技芸), 芸能), 道), [通じて, 通じる]), 人), node(や, node([], node(に, 身, [備わった, 備わる]), 技芸), node(を, 芸能, node([], [もって, もつ], node(と, 職業, node([], する, node(の, 人, node(を, こと, node([], 指す, node([], 日本, node([], 特有の, node(である, 概念, [])))))))))))))).

KNPの係り受け解析をもとにしている。「フレーズ番号リストのトークン」のところにある、リスト構造がわかりやすい。

(1)「芸人とは」の主語は、係り受け解析の結果から、そこでの第16番目の句にかかっているので、そこは、うまくとらえている。

(2)または、という接続詞が大きな構造を作っているが、それが「人」にかかっているところは、まあまあ、とらえている。

この後のものは、特に、cabochaでは、うまくとらえられなかったので、大いに良い。が、
「wikipedia「芸人」の定義とprolog(3)リスト処理追加」

の記事で示した、私の直感的なものよりも、何かしらもう一つ劣っている感は否めない。形態素解析ツールがmecabからjumanに変わったので、ノード語とリーフ語で、取れてないものが増えて空リスト [ ]になっているが、これは修正可能で、また、大きな問題でもない。

KNPの解説サイトで使われていた、「私は傘を買い、そして家に帰った」という文章を解析して、出力した結果は次のようなものである。

%%--------------------------------
%% 「私は傘を買い、そして家に帰った。」のprolog化
%%--------------------------------
No.0 私,は 	Kakari:4 type:D score:991
No.1 傘,を 	Kakari:2 type:D score:1000
No.2 [買い, 買う],そして 	Kakari:4 type:P score:1100
No.3 家,に 	Kakari:4 type:D score:997
No.4 [帰った, 帰る],[] 	Kakari:-1 type: score:-1
%% フレーズ番号リストのトークン = [ r0 [ 1 r2 3 ] 4 ] 
%% Prolog宣言
pl001(a01,
    node(は,
        私,
        node(そして,
            node(を,
                傘,
                [買い, 買う]
            ),
            node(に,
                家,
                node([],
                    [帰った, 帰る],
                    [ ]
                )
            )
        )
    )
).

「私は」が二つの文節にかかっている状況は捉えている。KNPの構文解析が踏まえられている。

全体として、もう少し調整する必要がある。