Prolog化したWikipediaファイルのjavaによる検索時間

prologのfact文にしたwikipediaファイルを検索するためのjavaプログラムを作成した。prologによる開発効率が悪いので、あっさりjavaで、という狙いだった。プログラム自体は簡単にできた。ただ、じっさいそれで、「ロボット」と「模型」といった、2語を同時に含む文章を検索させると、1ファイルあたり7.8秒かかる。wikipedia本文の全部を544ファイルにしてあるうちの1ファイルにこれくらいの時間がかかるということだ。

prologにしてあるからで、元々のテキストから検索すれば、もっと早いのではないかと思われるかもしれない。単純な検索ならば、もっと早くなる可能性がないとは言えないが、prologのfact化してあるものは、そこにjuman++によるカテゴリ、品詞データ、ドメインなどの形態素解析やknpによる構文解析結果がはめ込まれているので、それらを含めれば比べ物にならない。つまり、元々のテキストに、こうした自然言語解析をやりながら、データの検索をかければ、もっと時間がかかってしまうだろうということだ。

もちろん、googleなどは、もっと上手いことをやっているんだろうが、それほどの環境やシステム、能力を持っていない。

となると、prolog化したwikipediaは、キホ的なところは、prologで検索しなければならないと思われる。

swiprologは、プログラム/データをバイナリ化して保持するので、自分の思う通りの検索をやらせれば、もっともっと速かった。

prologというもののすごさがわかる。

KNPエラー (null): can't open JUMAN.grammar

新しくMacBook (MacOS 10.14.6)にjuman++とknpをいれた。MacProでは、普通に使っていたので、問題なくインストールできるかと思った。ただ、昔のことでよく覚えていない。

juman++は、

./configure --prefix=/usr/local/jumanpp
make
sudo make install

で入れて、knpは、

./configure --prefix=/usr/local/knp --with-juman-prefix=/usr/local/jumanpp
make
sudo make install

でいれた。

echo 今日はいい天気ですね | /usr/local/jumanpp/bin/jumanpp | /usr/local/knp/bin/knp

をやると、

(null): can't open JUMAN.grammar .
exit(2)

となる。およ!どうなってるの。いろいろやったが、結局、jumanを別にインストールして、knpのコンパイル時に、

./configure --prefix=/usr/local/knp --with-juman-prefix=/usr/local/juman

とjumanppではなくjumanのインストール先を指定したら、

echo 今日はいい天気ですね | /usr/local/jumanpp/bin/jumanpp | /usr/local/knp/bin/knp 

# S-ID:1 KNP:4.19-CF1.1 DATE:2019/08/21 SCORE:-19.04210
今日は─────┐ <体言><NE:DATE:今日>
  いい─────┤ <用言:形><格解析結果:ガ/天気;カラ/-;時間/-;ガ2/->
    天気ですね<体言><用言:判><格解析結果:ガ/-;時間/今日>
EOS

とちゃんとjuman++ で結果を出した。ただ、これでよかったのかどうかはわからない。juman++だけでいいのかもしれない。とうめんこれでやる。

またおんなじことを繰り返さないようにメモしておく。

Prologはサーバーに徹する

2ヶ月、空白があった。理由は、戦略的な行き詰まりがあったからだ。煮詰まったと言ってもいい。原因は、Prologで全てをやろうとしたからだった。Prologは、開発効率がひどく悪い言語だと言うことを思い知った。その理由は、頭に描いたアルゴリズムのうち、JavaとかC++では簡単にやれることが、Prologは、超難しくなることだ。もちろん、一方で、Prologで非常にうまいこと処理できるものがある。個々を区別せず、やたらPrologでやろうとした。時間の浪費に消耗してしまった。

空白を置くことによって、冷静になれたと思う。空白期間中は、かつて熱心にやっていた電子書籍の作成システムを、汎用に作り直していた。(興味があれば、ネット書房のサイトをみてください)

話を元に戻すと、そういうわけで、今後はPrologは、言語的知識を表現することに徹する。それを取り出す上では、Prologでサーバーまでは組み立てる。与えられた要素を持った知識を取り出すサーバーをPrologで組み立てる。クライアントは、JavaでもC++でもなんでもいいだろう。プロトコルさえ決めておけば。

絶対アドレスと節の位置との相互変換

二分木の中のノードやリーフの位置は、lとrの系列で示している。が、語と語の距離をそのアドレスから計算するのがとてもややこしいプログラムになっていた。そこで、アドレスと語の位置を相互に交換できるようにした。

ベースにしたのは、次のような、二分木を平板に出力するプログラムだ。記録のために書いておく

print_top :-
    data(Tree),
    set_flag(location,0),
    print(Tree,[]).

print(Tree,Address):-
    atom(Tree),
    get_flag(location,No),
    format('~w(~w:~w), ',[Tree,No,Address]),
    asserta(address(Address,No)),
    No1 is No + 1,
    set_flag(location,No1).

print(Tree,Address):-
    node(N,L,R)=Tree,
    append(Address,[l],Address_l),
    append(Address,[r],Address_r),
    print(L,Address_l),print(N,Address),print(R,Address_r).

data(
node(h,
    node(d,
        node(b,
            a,
            c
        ),
        node(f,
            e,
            g
        )
    ),
    node(l,
        node(j,
            i,
            k
        ),
        node(n,
            m,
            o
        )
    )
)
).

実行すると次のようになる。

?- print_top.
a(0:[l,l,l]), b(1:[l,l]), c(2:[l,l,r]), d(3:[l]), e(4:[l,r,l]), f(5:[l,r]), g(6:[l,r,r]), h(7:[]), i(8:[r,l,l]), j(9:[r,l]), k(10:[r,l,r]), l(11:[r]), m(12:[r,r,l]), n(13:[r,r]), o(14:[r,r,r]), 
true .

assertaでprologの説も構成している。

prolog二分木知識によるシステム相互の応答

没頭していたというよりも、どうするか苦悶していたので前回書いた時から三週間近く経過してしまった。苦闘の理由は、システムを発展性のあるものにすることだった。

ようやく、基礎的なところで納得できるものになったので、何か書いておくことにした。自然言語解釈のところとprologによるsocket相互通信のシステム構築に手間かけた。

自然言語処理のところでは、大きなところは、質問文の解釈の基礎的なところをどのようにするか、設計上の問題に直面した。色々な知識はprolog二分木で表現されていて、その二分木がどのような構造になっているかを踏まえなければならない。二分木は、ノード値と二つのリーフ値の重層的連結になっている。ここに構文情報がはめ込まれてもいる。

ノード値は助詞を中心に付随する修飾語から成り立っていて、動詞や名詞はそこには全く入ってこない。したがって、色々な意味で有限である。限られている。質問文かどうかは、このノード値を解析すればわかる。主語的なものは、格助詞の「は」などがノード値にあれば、その左のリーフか、ないしは、左側のツリーのいずれかのリーフに主語があるはず。

ノード値からの距離が重要で、例えば、格助詞の場合は左側で一番近いところにある名詞が、その主要候補となるだろう。また、距離に、状況によって左の葉を優先するか、右の葉を優先するかの設定もする。この距離は、ノードやリーフの絶対アドレスから算出する。

一つの文章の二分木ツリーから、ノード値、名詞、動詞、修飾語、およびその絶対アドレスの全てを、それぞれリストにして、最初に一挙に取得してしまうという方法も取り入れた。これは別な形で二分木を分解してしまう方法でもある。こうすると、文章のほとんどがそのリスト軍の中に写像される。

こうすると文章の意味取得が容易になる。質問に対して、このリストを使って返信が可能になる。

通信については、javaを経由すればソケット通信は楽になるが、あくまで、prolog動詞て対話の通信ができるようにした。c++やjavaの時と同様に、ソケットとそのストリームを作成して、あとは自由に相互にやり取りをするというソケット通信の本来の形を実現するのに苦労した。ソケットを作って、一個の文章のやり取りをすることはすぐにできるが、ソケットを二つのシステムの対話の間じゅう維持するのが難しかったのだ。しかし、それもできた。

これから、自由な問いかけに、自らの知識(prolog二分木)に基づいて、自由に返答できるシステムにしていこう。形としては、あの巨大なwikipediaの知識を利用できる形にしてあるのだから。

アドレスという考え方: prolog二分木

自然言語のprolog二分木の中をもっと自由に移動する方法がないかと考えてきたが、アドレスを入れることにした。

二分木はルートを持っている。このルートが原点となる。linuxなどのディレクトリ構造のルートと同じである。ただ、二分木であるから、分岐は全てバイナリである。

そこで、ルートから出発して、左の葉をたどる時には'l'(エル)を加え、右をたどる時には'r'を加えたprologリストを作成することによって、唯一のアドレスを与えることができる。

仮想的な二分木を考える。

node(a,
    node(b,
        node(c,
            d,
            e
        ),
        node(f,
            g,
            h
        )
    ),
    node(i,
        node(j,
            k,
            l
        ),
        node(m,
            n,
            o
        )
    )
)

ルートの値は、aである。左右対称のツリーになっている。これに対し、アドレス[l,r,l]は、値gとなる。あるいは、[l,r]にあるのはサブツリーで、node(f, g, h)である。同じく、[r,l]にあるのは、node(j, k, l)となる。

このように、そのアドレスの部分ツリーを取ってくるプログラムは次のようになる。

%% 現在位置(ツリーアドレス)からの部分ツリーを返す
getsubtree(Tree,[],Tree).  %% 位置が空だったら、そのものを返す
getsubtree([],_,[]).
getsubtree(node(_,L,R),[H|T],Out) :- 
        (T=[] -> 
            (H=l -> Out=L; Out=R)
        ;   (H=l -> getsubtree(L,T,Out)
            ;getsubtree(R,T,Out),
            true)
        ).

名詞の主語としての重要性ウェイト:prolog二分木

二分木には、juman++による形態素解析の結果が組み込まれている。主語を捉える上で、可能性として色々ある場合、扱う順位、ウェイトのようなものが欲しい。たとえば、「アトムと言われているものはなんですか」というのを、二分木にすると、

%% line = アトムと言われているものはなんですか
%% phrases: [ 0 1 2 r3 ] 
testdoc(testline_0_0,
    node(ですか,
        node(は,
            node([],
                node(と,
                    [アトム, 'S:普/C:自然物/D:科学・技術'],
                    [[[言わ, 'V:言う'], れて], いる]
                ),
                [もの, 'S:形']
            ),
            [なん, 'S:数/C:数量']
        ),
        [ ]
    )
).

となる。図で描くと、

となる。「は」という格助詞の前に、名詞は三つある。「なん」が数詞になっているのが少しおかしい(juman++の仕様)だが、他に、「アトム」と「もの」もある。「なんですか」というのも、「ものはなんですか」も日本語としては単独で成立する。しかし、ここでは主語は「アトム」であるべきだ。

となると、名詞の主語になる優先順位というのが必要になるだろう。名詞の種類は、juman++では、次のようになっている(http://www.unixuser.org/~euske/doc/postag/)。

普通名詞 (例)「つくね焼」「鞭打ち症」「パイ中間子」サ変名詞以外のもの。
副詞的名詞 (例)「ところ」「ため」「ぐらい」「~したところ」「~するため」
形式名詞 (例)「の」「こと」「もの」「つもり」「わけ」	
固有名詞 (例)「エスキモー」「広辞苑」「平成」以下の 3カテゴリにあてはまらない固有名詞。
組織名 (例)「NATO」「そごう」「運輸省」	
地名 (例)「東京」
人名 (例)「田中」
サ変名詞 (例)「説明」「あんよ」「埋め合わせ」「発想」「~する」の形をとれるもの。
数詞 (例)「ゼロ」「億」 数値。
時相名詞 (例)「あした」「ほどんど」「それぞれ」

順位をつけると、(1)人名(2)組織名(3)地名(4)固有名詞(5)普通名詞(6)サ変名詞(7)形式名詞(8)数詞(9)時相名詞(10)副詞的名詞、となるのではないか。この優先順位で、文章の主語をとらえることにしよう。

自然言語二分木を平文に変換するprologプログラム

書き忘れていたが、この間、以前も使っていた二分木を平文にするプログラムを少し改良している。AIサーバー、AIクライアントで使っているので掲載しておく。

%%
%% prologツリーをベタな文章に変換して表示する
%% 全て、変数に出力されるように改訂
%%

wsprint(Sent,Out) :- 
    nb_setval(console,''),
    printnode(Sent),
    nb_getval(console,Out).
    %% write(Out),nl.

%% グローバル変数 console に出力をつなげていく
wsappend(S) :-
    nb_getval(console,Tmp),
    atom_concat(Tmp,S,Out),
    nb_setval(console,Out).

%% -----------------------
%%% 出力のclauses
%% -----------------------
% 対象がatomならば、そのまま表示
printnode(N) :- atom(N),wsappend(N).
%% 対象が空でないリストならば、最初の項の表示
printnode(N) :- [_|_] = N,showlist(N). 
%% 対象が空リストならば'/'(半角スラッシュの表示)
%% printnode(N) :- [] = N,wsappend('/'). %% 空リストでもtrueにする
%% スラッシュやめる
printnode([]).
%% 対象が項ならば、元の言葉の順序で表示(語がnodeならば再帰的に表示する
%% ただし、node語がnodeは含まない)
printnode(N) :- node(X,Y,Z) = N,
        printnode(Y),
        printnode(X),
        printnode(Z).

%% -----------------------
%% getlistは、リストが[語, カテゴリ]から構成されているのから、語だけのリストを作る
%% 一つのフレーズに複数の語があると
%% [[[語, カテゴリ],語],[語, カテゴリ]] などのように繋がってリスト化される
%% knpがカテゴリを出力しない場合は、語が単独になることもある
%% HeadとTailをから、それぞれの語を取り出して、結合したのを出力
%% -----------------------
getlist([H|[T]],[X1, X2]) :- getlist(H,X1),
        getlist(T,X2),!.
%% 構造的に、Tailには、単位リストしか入っていない
getlist([H|[T]],[H,H1]) :- atom(H),[H1|_] = T,!.
%% tailがリストでない場合は、atomであるHeadのチェック
getlist([H|[_]],H) :- atom(H).
%% tailが構造化されたリストの場合にはここで処理する
getlist([H|[T]],[Z,T]) :- atom(T),
        getlist(H,Z).

%% -----------------------
%% ベタなリストに変換するのがprintlist
%% swi-prologにflattenという組み込み関数がある
%% -----------------------
printlist(L) :- atom(L),
        wsappend(L).
%% ベタなリスト化は、以下のclauseで単純に作れる
printlist(L) :- [H|[T]] = L,
        printlist(H),
        printlist(T),!.

%% -----------------------
%%  getlistとprintlistを繋げるのがshowlist
%% -----------------------
showlist(L) :- getlist(L,X),
        printlist(X).

実行例を示しておく。prolog二分木化したwikipediaからとってきているかなり複雑な二分木がだ、綺麗に日本語の平文に直している。

?- ['../lib/wsprint.swi'].                                                                              true.

?- wsprint(node(は,[['デビュー', 'S:サ/C:抽象物/D:メディア'], 前],node(で,[[紫苑, 'S:普/C:植物'], [名義, 'S:普/C:抽象物']],node(と,[[杏樹, 'S:人'], [紫苑, 'S:普/C:植物']],node([],[いう, 'V:いう'],node(で,[コ ンビ, 'S:普/C:組織・団体'],node(の,[[耽美, 'S:普/C:抽象物'], [系, 'S:普/C:抽象物']],node([],[漫画, 'S:普/C:人工物-その他;抽象物/D:文化・芸術'],node(を,node(の,[],[パロディ, 'S:普']),node([],[[描いて, 'V:描く'], おり],node([],[[要, 'S:普/C:人工物-その他;抽象物'], [出典, 'S:普/C:抽象物/D:文化・芸術']],node(の,[[ 江口, 'S:人'], [寿史, 'S:人']],node([],[単行本, 'S:普/C:人工物-その他;抽象物/D:文化・芸術'],node(の,[[江口, 'S:地'], [寿史, 'S:人']],node(で,なんとかなる,node([],[ショ, 'S:サ'],node(の,[[江口, 'S:地'], [寿史, 'S:人']],node(に,[[[爆発, 'S:サ/C:抽象物'], ['ディナー', 'S:普/C:人工物-食べ物/D:料理・食事']], ['ショ ー', 'S:普/C:抽象物/D:文化・芸術']],node([],[[[[収録, 'S:サ/C:抽象物/D:文化・芸術;メディア'], [さ, 'V:する']], れて], いる],[ ])))))))))))))))))),Out).

Out = デビュー前は紫苑名義で杏樹紫苑というコンビで耽美系の漫画のパロディを描いており要出典江口寿史の単行本江口寿史のなんとかなるでショ江口寿史の爆発ディナーショーに収録されている .


AIサーバーとAIクライアント:prolog二分木

先の記事では、クライアント側がjavaだったが、クライアント側もprologにした。クライアントプログラムは、先の平文を二分木にするクライアントを少し変えたものだ。

%
% prologのテレパシーサーバーに質問し、回答を得るクライアント
%

% 文字列とutf8のバイトコードを相互に変換する
% http://www.ibot.co.jp/wpibot/?p=2681 など参照
:- ['../lib/utf8string.swi'].

% swi-prologモジュールの組み込み
:- use_module(library(streampool)).

% クライアントをスタートさせて、ストリームを取得、グローバル変数に保存する
telepathy_client(Host, Port) :-
        setup_call_catcher_cleanup(tcp_socket(Socket),
            tcp_connect(Socket, Host:Port),
            exception(_),
            tcp_close_socket(Socket)),
        setup_call_cleanup(tcp_open_socket(Socket, In, Out),
            nb_setval(socketIn,In),
            nb_setval(socketOut,Out)).

telepathy_to_server(Term,Reply) :-
        % 送信文字列をコードに変換する
        utf8tring(Bytes,Term),
        nb_getval(socketIn,In),
        nb_getval(socketOut,Out),
        % コマンをつけて、サーバーに送信
        % format(Out, '~w:~s~n', [Com,Bytes]),
        % 当面コマンドをつけない
        format(Out, '~s~n', [Bytes]),
        flush_output(Out),
        %read(In, ReplyCode), % これではうまくいかない
        % サーバーからコードを受信する
        read_line_to_codes(In, ReplyCode),
        % write(ReplyCode),nl,
        % コードを文字列に変換
        utf8tring(ReplyCode,Reply).
        % 表示する
        %format('Reply: ~s~n', [Reply]).

% ストリームを閉じる
telepathy_close :-
        nb_getval(socketIn,In),
        nb_getval(socketOut,Out),
        close(In, [force(true)]),
        close(Out, [force(true)]).

サーバー側は、前の記事と同じで変更ない。実行結果は以下のようである。

まず、クライアント側。

?- ['telepathy_client.swi'].
true.

?- telepathy_client(localhost,30000).
true.

?- telepathy_to_server(アトムとはなんですか,Reply).
Reply = アトムはロボットです.

続いて、サーバー側。

?- ['telepathy_server.swi'].
true.

?- server(30000).
Receive = > アトムとはなんですか 
Send = > アトムはロボットです

これからは、知識が多い場合の処理はもう少し後にして、単純な知識が様々に利用される状況を想定してみる。

知識サーバー(プロトタイプ): prolog二分木

AI同士の対話が当面のターゲットなのだが、そのサーバー部分の作成とテストを実行した。相変わらず知識は「アトムはロボットです」しか持っていない。

まず、ネットワーク上で質問を受け取って、自らの持つ知識でそれに返答するというprologを示すと次のようになる。すでに示している reply.swi を組み込む。私は、ロボット同士のTCP-IPの通信システムは、基本、Telepathyという名前をつけている。

%%%%
%% telepathy_server.swi
%% prologサーバー
%% 参照:
%% http://www.swi-prolog.org/pldoc/man?section=stream-pools
%% utf8string.swiを使用する
%% 記事 http://www.ibot.co.jp/wpibot/?p=2681
%%%%

:- ['reply.swi'].

%% home brewでインストールしたswi-prologでは、次のライブラリが読めない可能性がある
%% その場合は、ソースからコンパイルし直し、最新バージョンを入れる
:- use_module(library(streampool)).

server(Port) :-
    %% tcpソケットの作成
    tcp_socket(Socket),
    %% ソケットをアドレスにつなげる 第二引数は、portのみか、HostPort
    tcp_bind(Socket, Port),
    %% ソケットからリクエストを受け取る、第二引数は、ペンディングリクエストの上限
    tcp_listen(Socket, 5),
    %% ソケットとコミュニケーションのためのストリームを作成する
    tcp_open_socket(Socket, In, _Out),
    %% Inが利用可能になったら、accept(Socket)が呼び出される
    add_stream_to_pool(In, accept(Socket)), 
    %% loopが空になるまでdispatch_stream_poolが呼び出される
    %% dispatch_stream_poolは入力があるとadd_stream_to_poolのGoalを呼び出す
    stream_pool_main_loop.

accept(Socket) :-
    %% ソケットからのクライアントからのリクエストを待つ
    tcp_accept(Socket, Slave, Peer),
    tcp_open_socket(Slave, In, Out), 
    add_stream_to_pool(In, client(In, Out, Peer)).

client(In, Out, _Peer) :-
    %% 入力ストリームから次の行を読み出す 結果はCommandにユニファイされる
    %% 改行までか、ファイルの終わりまで読み込まれる 改行コードは削除される
    %% 改行を含むブロックを読み込むときは read_line_to_codes/3 を使う
    read_line_to_codes(In, Codes),
    %% 入力ストリームを閉じる
    close(In),
    %% バイトシーケンスを文字列に変換する
    utf8tring(Codes,Request),
    %% コンソール出力
    format('Receive = > ~s ~n',[Request]),
    %% 回答を取得
    wsreply(Request,Reply),
    %% 回答を送信
    utf8tring(ReplyCodes,Reply),
    %% write(Out,ReplyCodes),nl(Out),
    %% write(Out,Reply),nl(Out),
    format(Out, '~s~n', [ReplyCodes]),
    format('Send = > ~s~n',[Reply]),
    flush_output(Out),
    %% 出力ストリームを閉じる
    close(Out),
    %%write('Close socket stream ...'),
    %% プールからストリームを削除する
    delete_stream_from_pool(In).        
	

このサーバー、立ち上げるとターミナルをブロックして、他のプロセスを実行させる余地がない感じになるが、prologは、簡単に実行をスレッド化できるので、大きな問題ではない。

クライアントは、ここではjavaで書いた簡単なものを使う(次の段階でこちらもprologにする)。

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.io.OutputStreamWriter;
import java.io.PrintWriter;
import java.net.Socket;

/**
 *
 * @author washida
 */
public class JPClient {

    /**
     * @param args the command line arguments
     */
    public static void main(String[] args) {
        try {
            String server = "localhost";
            int port = 30000;
            Socket soc = new Socket(server, port);

            OutputStream os = soc.getOutputStream();
            PrintWriter pw = new PrintWriter(new BufferedWriter(new OutputStreamWriter(os, "UTF-8")));
            InputStream is = soc.getInputStream();
            BufferedReader br = new BufferedReader(new InputStreamReader(is));
            String question = "アトムとはなんですか";
            System.out.println("質問: "+question);
            pw.print(question+"\r\n");
            pw.flush();
            String line;
            while((line = br.readLine()) != null){
                System.out.println("回答: "+line);
            }
            pw.close();
            os.close();
            br.close();
            is.close();
        } catch (IOException e) {
            System.out.println("Exception: " + e);
        }
    }
    
}

実行結果を示す。まず、javaクライアント側のコンソールは次のようになる。

質問: アトムとはなんですか
回答: アトムはロボットです

回答は、prologサーバーから送り返されてきたものである。

telepathy_server側のコンソールは次のようになる。

?- ['telepathy_server.swi'].
true.

?- server(30000).
Receive = > アトムとはなんですか 
Send = > アトムはロボットです

ということである。