知識にもとづき質問に答える: prolog二分木

みずからが持っている知識にもとづき、問いに答えるシステムのプリミティブなものを作った。持っている知識は次のような「アトムはロボットです」という知識だけであるとする。現実には、日本語wikipediaの膨大な知識を持っているのだが、それを利用するのはもう少し後にする。

知識は、knowledgeというfanctorで表現されているとする。%で始まる行は、prologのコメント文である。

%% 知識 = アトムはロボットです
%% phrases: [ r0 1 ] 
knowledge(testline_0_0,
    node(は,
        [アトム, 'S:普/C:自然物/D:科学・技術'],
        node(です,
            [ロボット, 'S:普/C:人工物-その他/D:科学・技術'],
            [ ]
        )
    )
).

ここで、「アトムとはなんですか」という問いがあったとする。それに回答するprologプログラムは次のようなものである。

% 
% 質問に答えるプログラム
% 

:- ['../lib/client.swi'].
:- ['../lib/wsprint.swi'].
:- create_client(localhost,25000).

reply(Sentence,Out) :- 
        chat_to_server('GETTREE',Sentence,Recv),
        %% write(Recv),nl,
        %% utf8string.swiから出てくる文字列は、string!! 
        %% このままでは、unificationに失敗するので、termに変換する
        term_string(Recv1,Recv),
        dialog(_,Tree) = Recv1,
        %% write(Tree),nl,
        isquestion(Tree),
        getsubject(Tree,Sub),
        getreply(Sub,Out),
        wsprint(Out).

%% ----- 疑問文 回答取得 -----
getreply(Subject,Out) :- knowledge(_,Tree),chkreply(Tree,Subject),Out=Tree.
%% 主語のフレーズが一致していたらそれを回答とみなす
chkreply(node(N,L,_),Subject) :- member(N,[は, とは, って]),L=Subject,!.
chkreply(node(_,L,_),Subject) :- chkreply(L,Subject),!.
chkreply(node(_,_,R),Subject) :- chkreply(R,Subject).

%% ----- 疑問文 主語取得 -----
getsubject(node(N,L,_),Out) :- member(N,[は, とは, って]),L=Out,!.
getsubject(node(_,L,_),Out) :- getsubject(L,Out),!.
getsubject(node(_,_,R),Out) :- getsubject(R,Out).

%% ----- 疑問文 チェック -----
%% ノード値がリストのいずれかの語で、右の葉が空リスト [ ] の場合、疑問文 
isquestion(node(N,_,[])) :- member(N,[ですか,なの,か,なのか]),!.
isquestion(node(_,L,_)) :- isquestion(L),!.
isquestion(node(_,_,R)) :- isquestion(R).

%% 知識 = アトムはロボットです
%% phrases: [ r0 1 ] 
knowledge(testline_0_0,
    node(は,
        [アトム, 'S:普/C:自然物/D:科学・技術'],
        node(です,
            [ロボット, 'S:普/C:人工物-その他/D:科学・技術'],
            [ ]
        )
    )
).

プログラムの最後に、先ほどの知識が加えられている。もしこの知識が多く、あるいは、複雑になれば、それらを調べることになる。

reply()が、topレベルのclauseである。質問文(Sentence)は、平文であり、それらはサーバーに問い合わせして二分木にして返してもらっている(chat_to_server('GETTREE',Sentence,Recv),)。サーバーから返ってきた二分木は、swi-prologのstringであり、このまま dialog(_,Tree) = Recv, などとunificationすると失敗する。この理由がわからなくて、半日くらい無駄にした。term_string(Recv1,Recv),で、stringを文字列に変換している。返ってきたものから、二分木だけを取り出し(dialog(_,Tree) = Recv1,)、質問文であるかどうかをチェックし(isquestion(Tree),)、質問文であるならば、質問の主語にあたるものを取り出し、知識に問い合わせして、回答に当たる知識を得る(getreply(Sub,Out),)、という段取りである。

実行結果は次のようになる。

?- ['reply.swi'].
true.

?- reply(アトムとはなんですか,Out).

アトムはロボットです/

Out = node(は, [アトム, 'S:普/C:自然物/D:科学・技術'], node(です, [ロボット, 'S:普/C:人工物-その他/D:科学・技術'], [])) .

文章を与えて、サーバーからprolog二分木を取ってくるクライアント

質問文二分木の作成をやってきたが、ここで、質問を受け取って、自分の知識に基づいて解答を作成するシステムを作る。

質問は、平文で受け取るので、そこから知識の二分木に結びつけなければならないのだが、一旦、質問文を二分木に変換するのがいいと思った。prologで作成しようと思ったが、いろいろ面倒なので、これまでのjavaの作成システムにサーバー機能も持たせて、そこにアクセスして単文を二分木にしようと思う。

prologのクライアントを作成した。

%
% 文章を与えて、サーバーからprolog二分木を取ってくるクライアント
%

% 文字列とutf8のバイトコードを相互に変換する
% http://www.ibot.co.jp/wpibot/?p=2681 など参照
:- ['utf8string.swi'].

% swi-prologモジュールの組み込み
:- use_module(library(streampool)).

% クライアントをスタートさせて、ストリームを取得、グローバル変数に保存する
create_client(Host, Port) :-
        setup_call_catcher_cleanup(tcp_socket(Socket),
            tcp_connect(Socket, Host:Port),
            exception(_),
            tcp_close_socket(Socket)),
        setup_call_cleanup(tcp_open_socket(Socket, In, Out),
            nb_setval(socketIn,In),
            nb_setval(socketOut,Out)).

% 単文を送信して、二分木を受け取る
chat_to_server(Term) :-
        % 送信文字列をコードに変換する
        utf8tring(Bytes,Term),
        nb_getval(socketIn,In),
        nb_getval(socketOut,Out),
        % コマンドをつけて、サーバーに送信
        format(Out, 'GETTREE:~s~n', [Bytes]),
        flush_output(Out),
        %read(In, ReplyCode), % これではうまくいかない
        % サーバーからコードを受信する
        read_line_to_codes(In, ReplyCode),
        %write(ReplyCode),
        % コードを文字列に変換
        utf8tring(ReplyCode,Reply),
        % 表示する
        format('Reply: ~s~n', [Reply]).

% ストリームを閉じる
close_connection :-
        nb_getval(socketIn,In),
        nb_getval(socketOut,Out),
        close(In, [force(true)]),
        close(Out, [force(true)]).

prologは、utf8のバイトコードで送受信するので、その変換が必要だった。すでに作成したシステムがあったので、簡単に済ますことができた。

実行結果は次のよう。

?- ['../client.swi'].
true.

?- create_client(localhost,25000).
true.

?- chat_to_server(アトムはロボットですか).
Reply: dialog(190520092729_0_0,node(ですか,node(は,[アトム, 'S:普/C:自然物/D:科学・技術'],[ロボット, 'S:普/C:人工物-その他/D:科学・技術']),[ ])).
true.

「どんな」型の疑問文:prolog二分木

次の疑問文生成は、「どんな」あるいは「どのような」という疑問文である。例えば、「アトムはロボットです」を疑問文にすると「アトムはどんなロボットですか」ということになる。

この「どんな」が生成できれば、他も「なんで、なんの、なぜ、どの、どうして、どんなふうに」などの多くの疑問詞がほぼ同様の操作で生成可能になる。

まず、前にも示したと思うが、「アトムはロボットです」をシステムで二分木を生成すると次のようになる。

%% phrases: [ r0 1 ] 
testdoc(testline_0_0,
    node(は,
        [アトム, 'S:普/C:自然物/D:科学・技術'],
        node(です,
            [ロボット, 'S:普/C:人工物-その他/D:科学・技術'],
            [ ]
        )
    )
).

最初の行は、システムが生成するもので、コメント文となり、次は、生成二分木のインデクスで、他が二分木の実体である。

次に「アトムはどんなロボットですか」を二分木化すると次のようになる。

%% phrases: [ 0 1 r2 ] 
testdoc(testline_0_0,
    node(ですか,
        node([],
            node(は,
                [アトム, 'S:普/C:自然物/D:科学・技術'],
                どんな
            ),
            [ロボット, 'S:普/C:人工物-その他/D:科学・技術']
        ),
        [ ]
    )
).

ちょっと、基本構造が違っている。上の二つの二分木を図で示すと次のようになる。

左が平常文であり右が疑問文だ。違いは、rootノードの違いである。先のシステム出力のコメント文、%% phrases:の右側に書いたものが、二分木のリストで、rのついた番号のものをルートフレーズとしているということである。

フレーズは、名詞や動詞などの単独で意味を持つ語と助詞などの付随語のペアからなっていて、システムは、いくつかの判断基準を複合させて、ルートフレーズを確定する。また、ときには、フレーズリストをネストさせて、それぞれのリストごとにルートフレーズを決定し、二分木の形を決めている。この辺りのことは、こちらなどを参照してください

「どんな」疑問文も、ルートの違いによって、色々ありうるということである。例えば、左の構造を基本にしながら「どんな」疑問文を生成すると、次の図のような場合もありうる。

基本これらの違いは、「部分知識を取り出す上でどちらが望ましいか」だが、こちらは、赤い枠の中に、アトムが入っていないのが気になる。しかし、まあ、prolog二分木としてはどちらも有効である。

どちらを生成するかという問題になるが、疑問文の生成は、部分知識の取得とは無関係なので、作りやすい方がよく、その点では後者の「どんな」疑問文をつくようにした方がいい。

この場合、生成ロジックは、「です」を「ですか」に変更し、「ロボット」を値にもつ左の葉を一つのnodeとして「どんな」を左のは「ロボット」を右のは、ノード値は空リスト [ ] にすればよい。

プログラムは、先ほどの「なんですか」疑問文を少し変えた次のようなものになる。

%% ----- どんな 疑問文 -----
donna(T,Out) :- not(functor(T,node,3)),Out=T.
donna(node(N,L,R),Out) :-
        (
            'です'=N,
            not(functor(L,node,3))
        ->  N1='ですか',
            L1=node([],'どんな',L),  %% ← 変更点
            R1=R
        ;   (
                'は'=N
            ->  N1='とは'
            ;   N1=N,
                true
            ),
            donna(L,L1),
            donna(R,R1),
            true
        ),
        Out = node(N1,L1,R1).

変更点は、一行だけである。 「ですか」の左文字を、部分木に変えたことである。その際、元々の左語をそのノードの右葉にして左は、「どんな」という疑問詞を入れたことである。

まあ、この L1=node([],'どんな',L) 書き方は、CとかJavaとかやっているものには、なんとも変な感じである。なぜなら、node([],'どんな',L)というのは、いわゆる関数ではない。functorという複合項目、ある意味、文字のようなものなのであるが、Lというのは、prologにおける正真正銘の変数である。変数が前触れもなく、裸のままで入っている。prologは、これが半角大文字であることの一点で、変数とみなすのである。しかも、L1=node([],'どんな',L)の演算子"="は、Cやjavaでいう代入処理ではない。ユニフィケーション(単一化)という。L1が何も確定していない変数であるので、結果的に、やっていることは代入なのであるが、元々の機能は、とんでもなく違っている。例えばこれが、node(N,L1,R)=node([],'どんな',L)とかなっていたら、Nが未確定変数ならば、Nには、[]が代入される。確定変数ならば、両者の一致性がチェックされ出力される。変数が確定しているか未確定かによって結果は違ってくる。ユニフィケーションの場合、未確定語が左あろうが右にあろうが関係ない。

ユニフィケーションは不思議な操作ではあるが、prologの根幹を成している機能であるから、とても大事なのである。

このプログラムの実行結果は次のようになる。

?- ['quetion.swi'].                                                                               true.

?- donna(node(は,[アトム, 'S:普/C:自然物/D:科学・技術'],node(です,[ロボット, 'S:普/C:人工物- の   /D:科学・技術'],[ ])),Out).

Out = node(とは, [アトム, 'S:普/C:自然物/D:科学・技術'], node(ですか, node([], どんな, [ロボット, 'S:普/C:人工物- の\n/D:科学・技術']), [])).

相変わらず形態素情報は維持されて複雑に見えるが、結果は、先の図のようなものである。

「とはなんですか」疑問文: prolog二分木

知識に基づいて、「とはなんですか」という疑問文を生成するprolog文を作った。例えば、「アトムはロボットです」という部分知識があったときに、これを回答にするような問いを考えるということである。プログラムは次のようになる。細かい調整はしていないので、色々バグもあると思う。

単純疑問文の場合と発想を変えてプログラム化した。シンプルだ。単純疑問文の場合も、この発想で書き直せば、もっといい感じになると思う。

%% ----- なんですか 疑問文 -----
nandesuka(T,Out) :- not(functor(T,node,3)),Out=T.
nandesuka(node(N,L,R),Out) :-
        (
            'です'=N,
            not(functor(L,node,3))
        ->  N1='ですか',
            L1='なん',
            R1=R
        ;   (
                'は'=N
            ->  N1='とは'
            ;   N1=N,
                true
            ),
            %% 左右の葉を再帰的に処理する
            nandesuka(L,L1),
            nandesuka(R,R1),
            true
        ),
        Out = node(N1,L1,R1).

変な感じではあるが、元々に知識的ツリーを入れると、それを答えとするような疑問文を生成するということである。

if文を使っている。if文の中にif文を使って、ネストしている。ある意味、if文は、Cやjavaなどの逐次処理言語の得意芸であり、あまりprolog的にはなじまないのかもしれないが、prolog的には、cut(!)を使った単純な構造である。if文の最後にtrueが付いているのは、if文の条件節が成立しなくても、カッコの次を実行するためである。そうしないと、成立しないときに、バックトラックに入って、その後を実行しなくなる。

最初のif文は、node値が「です」の部分木に出会ったら、それを「ですか」に変えて、その左葉の値がツリーでない限り、「なん」という疑問詞に変えるということである。この時の左葉が部分ツリーになる場合は、うまくいかないが、そういう状況は、想像できない。ないと思う。

さらに、「は」とう格助詞がnode値の時は、それを「とは」に変える処理もする。

「です」nodeに出会った時は、それ以上の再帰的処理はしないが(文の最後であるはずだから)、そうでない限り、各葉の再帰的処理に入り、各葉がnodeでないときは、そのまま値を返すという再帰的処理の終端処理が、最初のprolog文である。

実行結果は次のようになる。

?- ['quetion.swi'].
true.

?- nandesuka(node(は,[アトム, 'S:普/C:自然物/D:科学・技術'],node(です,[ロボット, 'S:普/C:人工物-その他/D:科学・技術'],[ ])),Out).

Out = node(とは, [アトム, 'S:普/C:自然物/D:科学・技術'], node(ですか, なん, [])).

知識文は「アトムはロボットです」をjavaのprolog二分木作成システムで作った二分木である。フォーマット改変の記事で、それぞれの記号的意味は解説している。

通常文を単純疑問文に改訂するprolog

先の記事では、node(か,[],[]) というフレーズを挿入して、疑問文を作る方法を示したが、もう少し柔軟に作成する方法を試みよう。

%%
%% 言語二分木を疑問文に変換する
%% mkquestionは、単純な確認疑問文を作成する
%%

%% -------------------------

confirm :- knowledge(_,Node),mkquestion(Node,Q),write(Q).

% 再帰の終端処理
mkquestion(node(N,L,R),P) :- atom(R),atom_concat(R,'か',R1),P = node(N,L,R1).
mkquestion(node(N,L,[]),P) :- atom(N),atom_concat(N,'か',N1),P = node(N1,L,[]).
mkquestion(node([],L,[]),P) :- atom(L),atom_concat(L,'か',L1),P = node([],L1,[]).
% こんなことがあるのだろうか?
mkquestion(node([],L,[]),P) :- node(N2,L2,R2) = L,mkquestion(R2,P2),P = node(N2,L2,P2).
% 基本的な再帰処理
mkquestion(node(N,L,R),P) :- mkquestion(R,P1),P = node(N,L,P1).


%% line = アトムはロボットですか
%% phrases: [ 0 r1 ] 
question(testline_0_0,
    node(ですか,
        node(は,
            [アトム, 'S:普/C:自然物/D:科学・技術'],
            [ロボット, 'S:普/C:人工物-その他/D:科学・技術']
        ),
        [ ]
    )
).

%% line = アトムはロボットです
%% phrases: [ r0 1 ] 
knowledge(testline_0_0,
    node(は,
        [アトム, 'S:普/C:自然物/D:科学・技術'],
        node(です,
            [ロボット, 'S:普/C:人工物-その他/D:科学・技術'],
            [ ]
        )
    )
).

これは、knowledgeの宣言文を単純疑問文に改訂するprologである。状況としては、知識は持っているが、それが確かであることを確認する単純な疑問文と考えれば良い。次のようになる。

?- ['quetion.swi'].
true.

?- confirm.
%出力、タブは事後的に入力

node(は,
    [アトム,S:普/C:自然物/D:科学・技術],
    node(ですか,
        [ロボット,S:普/C:人工物-その他/D:科学・技術],
        []
    )
)
true .

プログラムの方には、questionの頭部で、単純疑問文の例を書いておいた(javaの二分木作成システムで作ったもの)。が、それとは違う二分木システムの単純疑問文になる。プログラムのものは、左の葉に長いシステムで、こちらは、元の文章に引きづられているので、右に長い文章になっている。

 

大規模コーパスとjuman++

この間、形態素解析システムをjumanからjuman++に変更した。jumanは、サーバーモードで動かしていたが、juman++には、内臓でその機能がないので、標準ストリームをjavaで制御する方式に変更した。

日本語wikipediaの全本文など、大規模コーパスをjuman++で制御すると、いくつか深刻な問題が発生する。処理は、24スレッド、128Gメモリのubuntuマシンで処理するが、100を超えるjava スレッドごとにjuman++を立ち上げて処理する。

第1の問題は、jumanと比べ、数倍以上、遅いことである。これは、どうしようもない。プログラムを微調整して、少しでも挽回するしかない。

第2の大きな問題は、メモリを深刻に食べることだ。当初は、javaプログラムに、メモリーリークがあるのではないかと思ったが、javaのガベージコレクションは適切に機能し、メモリーも確保しているのでそちら側の問題ではないと結論づけた。juman++にメモリーリークがあるとは思えないが、どうしようもないので、一定処理ごとに、juman++を再起動し、一旦使っているメモリを解放させることで対応した。大体、1000個の文章を処理するごとに自動で再起動させている。

第3の問題は、数万の規模で文章を処理させていると、途中再起動しても、何かの拍子に、無反応になることである。エラーを吐くわけでもなく、文章を標準入力に入れても、出力しなくなる。標準エラーストリームに文章がたまるとそういうことになる経験があったのでそれかと思ったが、それを系統的に吐き出させていても発生する。これは、javaのバッファリーダーに標準出力をリダイレクトして取り込んでいるのであるが、工夫して、ready()で文章があることを確認してから読み込むようにし、一定期間(30秒)、ループが空回りすると、juman++を再起動するようにしたら、なんとかなっている。

ただ、その詰まりを起こした一つの文章は処理しないので、ちょっとした穴ができるが、全体の文章が膨大なので、影響は無視できる。

色々あっても、jumanと比べて、juman++が吐き出す形態素情報は魅力的で、それ以外のものにしようという気持ちは全く起きていない。

prolog二分木のフォーマットの改良

jumanをjuman++することによって、名詞のカテゴリ情報がより確実に組み込まれるようになり、ドメイン情報も使える。そこで、二分木のフォーマットをさらに改良することにした。それによって、会話で知識を使う道がより望ましいものになる。

変更後の二分木例を示すと次のようだ(文章はWikipediaより)

%% line = 小田を含む4名は、放送が終了したばかりのアニメ『機動戦士ガンダム』に熱中しており、まだガンプラが発売される前から同作品に登場するロボット兵器「モビルスーツ (MS)」の模型を自作していた。
%% phrases: [ r0 1 2 [ 3 4 5 r6 7 [ 8 9 10 11 12 13 14 r15 16 ] ] 17 ] 
testdoc(testline_0_0,
    node(を,
        [小田, 'S:地'],
        node([],
            [含む, 'V:含む'],
            node(は,
                [['4', 'S:数/C:数量'], [名, 'C:人']],
                node(に,
                    node([],
                        node(ばかりの,
                            node(が,
                                [放送, 'S:サ/C:抽象物/D:メディア'],
                                [[終了, 'S:サ/C:抽象物'], [した, 'V:する']]
                            ),
                            [アニメ, 'S:普/C:抽象物/D:文化・芸術']
                        ),
                        [[[機動, 'S:普/C:抽象物'], [戦士, 'S:普/C:人']], [ガンダム, 'S:固']]
                    ),
                    node([],
                        [[[熱中, 'S:サ/C:抽象物'], [して, 'V:する']], おり],
                        node(の,
                            node([],
                                node([],
                                    node(に,
                                        node(から,
                                            node([],
                                                node(が,
                                                    node([],
                                                        まだ,
                                                        [ガンプラ, 'S:普']
                                                    ),
                                                    [[[発売, 'S:サ/C:抽象物/D:ビジネス'], [さ, 'V:する']], れる]
                                                ),
                                                [前, 'S:副']
                                            ),
                                            [同, [作品, 'S:普/C:抽象物/D:文化・芸術']]
                                        ),
                                        [[登場, 'S:サ/C:抽象物'], [する, 'V:する']]
                                    ),
                                    [[ロボット, 'S:普/C:人工物-その他/D:科学・技術'], [兵器, 'S:普/C:人工物-その他/D:政治']]
                                ),
                                [[[['モビルスーツ', 'S:普'], ['(', 'S:普']], ['MS', 'S:組']], [')', 'S:普']]
                            ),
                            node(を,
                                [模型, 'S:普/C:人工物-その他'],
                                node([],
                                    [[[自作, 'S:サ/C:人工物-その他'], [して, 'V:する']], いた],
                                    [ ]
                                )
                            )
                        )
                    )
                )
            )
        )
    )
).

まず、最初の方の [小田, 'S:地']にあるように、リーフ値が名詞の場合はサブタイプをS:のヘッダをつけて、組み込むようにした。サブタイプ名は、節約のため、実際の名前の最初の1文字だけにしている。サブタイプ名は、「普通名詞, 副詞的名詞, 形式名詞, 固有名詞, 組織名, 地名, 人名, サ変名詞, 数詞, 時相名詞」だけのようなので、重なりはない。ただし、小田は地名になっているが、現実は、人名である。このように、人名か地名がわかれば、会話に利用できるのだ。

さらにカテゴリとサブタイトルが両方ある場合は、'S:サ/C:抽象物'のように/で区切って、繋げるようにした。リストにする方法も考えたが、やらた、リストがネストされるので、わかりにくくなると思い、回避した。

ドメインがある場合は、これにさらにD:のヘッダーでつなげる。[放送, 'S:サ/C:抽象物/D:メディア']あるいは[アニメ, 'S:普/C:抽象物/D:文化・芸術']という感じである。ドメインは、どういう状況の中に単語が含まれているのかがわかるので、貴重な情報である。

こうなると、二分木の中にシソーラス辞書が同時に組み込まれている感じになる。

juman++のjavaラッパー:サーバーモードも対応

prologの自然言語二分木を作るのに形態素解析はjumanでやってきた。が、前から気になっていたjuman++と比べてみたら、出力内容についてかなりの違いがあることがわかった。そこで、juman++ にしようと思ったが、jumanは自分でサーバーモードを持っていたが、juman++は、内蔵していなくて、rubyなどのラッパーで対応している。

大規模日本語コーパスの二分木づくりは、いくつものスレッドで、並列に形態素解析を行う必要がありjumanの時は、スレッドごとにjumanやknpのサーバーを立ち上げて対応した。しかし、juman++のruby経由ではうまくいかない。

そこで、juman++のjavaラッパーを作って、対応することにした。javaでjuman++を制御できれば、もともと二分木づくりはjavaでやっているので、あえてサーバーにする必要も無くなるのだが、一応、ソケット通信にも対応するようにした。

/*
Jumanpp.java
*/
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.io.OutputStreamWriter;
import java.util.logging.Level;
import java.util.logging.Logger;

public class Jumanpp {
    //  juman++のインストールパスを指定する
    String jumanpath = "/usr/local/juman1.02/bin/jumanpp";
    OutputStreamWriter ow;
    InputStream is;
    //InputStream es;
    PrintStream pis;
    //PrintStream pes;
    
    void getOutput(String line){
        if(line.startsWith("%%CLOSE")){
            System.out.println("Jumanpp: 終了します");
            jumannppClose();
            return;
        }
        try {
            ow.write(line+"\n");
            ow.flush();
        } catch (IOException ex) {
            Logger.getLogger(Jumanpp.class.getName()).log(Level.SEVERE, null, ex);
        }
    }

    void jumannppClose(){
        try {
            pis.stopThread();
            // 標準エラーを使う場合
            //pes.stopThread();
            // スレッド終了のためのダミー
            ow.write("terminate\n");
            ow.flush();
            
        try {
            Thread.sleep(1000);
        } catch (InterruptedException ex) {
        }

            ow.close();
            is.close();
            // 標準エラーを使う場合
            //es.close();
        } catch (IOException ex) {
            Logger.getLogger(Jumanpp.class.getName()).log(Level.SEVERE, null, ex);
        }
    }

    void jumannppStart(){
 	ProcessBuilder pb = new ProcessBuilder(jumanpath);
        System.out.println("Jumanpp: 開始します");
	pb.redirectErrorStream(true); 
        Process process;
        try {
            process = pb.start();
            //
            is = process.getInputStream();
            pis = new PrintStream(is);
            pis.start();
            // 標準エラーを使う場合
            //es = process.getErrorStream();
            //pes = new PrintStream(es);
            //pes.start();
            OutputStream os = process.getOutputStream();
            ow = new OutputStreamWriter(os);
        } catch (IOException ex) {
            Logger.getLogger(Jumanpp.class.getName()).log(Level.SEVERE, null, ex);
        }
    }
    
    public static void main(String args[]) {
        Jumanpp jumanpp = new Jumanpp();
        jumanpp.jumannppStart();
        // サーバーモードで使わない場合は以下二行をコメントアウトする
        Server server = new Server(jumanpp,32100);
        server.start();
        try {
            jumanpp.pis.join();
            // 標準エラーを使う場合
            //jumanpp.pes.join();
        } catch (InterruptedException ex) {
            Logger.getLogger(Jumanpp.class.getName()).log(Level.SEVERE, null, ex);
        }
    }
    
    class PrintStream extends Thread{
        BufferedReader br;
        boolean stop = false;
        
        PrintStream(InputStream is){
            br = new BufferedReader(new InputStreamReader(is));
        }
        
        void stopThread(){
            stop = true;
        }
        
        @Override
        public void run(){
            System.out.println("PrintStream: スレッドを開始します");
            try {
                while(true){
                    String line = br.readLine();
                    if (line == null || stop) {
                        break;
                    }
                    System.out.println(line);
                }
                br.close();
            } catch (IOException ex) {
                Logger.getLogger(Jumanpp.class.getName()).log(Level.SEVERE, null, ex);
            }
            System.out.println("PrintStream: スレッドを終了します");
        }
    }

}

ソケット通信をする場合は、以下のクラスも使う。

/*
Server.java
*/
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.net.ServerSocket;
import java.net.Socket;
import java.util.logging.Level;
import java.util.logging.Logger;

public class Server extends Thread{
    int port;
    Jumanpp jumanpp;
    
    public Server(Jumanpp jumanpp, int port){
        this.jumanpp = jumanpp;
        this.port = port;
    }
    
    @Override
    public void run() {
        try {
            ServerSocket ss = new ServerSocket(port);
            System.out.println("jumanpp サーバースタート ...");
            //サーバー側ソケット作成
            Socket sc = ss.accept();
            String ipaddress = sc.getInetAddress().getHostAddress();
            System.out.println("Connected from: " + ipaddress);
            juman(sc);
        } catch (IOException ex) {
            System.out.println("サーバーソケットエラー");
        }
        System.out.println("サーバーは停止しました");
    }

    void juman(Socket sc){
        BufferedReader br;
        PrintWriter pw;
        try {
            br = new BufferedReader(new InputStreamReader(sc.getInputStream()));
            //pw = new PrintWriter(new BufferedWriter(new OutputStreamWriter(sc.getOutputStream())));
            String data;
            while((data = br.readLine()) != null){
                System.out.println("受信データ:" + data);
                jumanpp.getOutput(data);
                if(data.startsWith("%%CLOSE")){
                    System.out.println("juman: サーバーを終了します");
                    break;
                }
            }
            //pw.println("Data received.");
            //pw.flush();
            //pw.close();
            br.close();
            sc.close();
        } catch (IOException ex) {
            Logger.getLogger(Server.class.getName()).log(Level.SEVERE, null, ex);
        }
    }    
}

prolog二分木における単純疑問文の生成

知識に基づく対話を考えるときに、疑問文の生成は避けて通れない。疑問文は、対話のトリガー、対話を動機づけるものだ。まず、終助詞の「か」を加えて単純疑問文を生成することを試みるのが順当である。

準備として、既存二分木に部分二分木(ないしは語)を加える汎用プログラムを作成しておく。

%% 空のツリーに、Nodeを与えると、それ自身を返す
insert(_,Node,[],Node).
%% 既存ツリーが語の場合
insert(left,node(Value,Left,[]),Word,node(Value,Left,Word)) :- 
        atom(Word),!.
insert(right,node(Value,[],Right),Word,node(Value,Word,Right)) :- 
        atom(Word),!.
%% すでにTreeがある場合
insert(left,Node,node(Value, Left, Right), node(Value, New, Right)) :-
        insert(left,Node,Left,New),!.
insert(right,Node,node(Value, Left, Right), node(Value, Left, New)) :-
        insert(right,Node,Right,New),!.

例えば、「アトムはロボットです」という二分木は、

node(は,アトム,ロボットです)

と書ける。

これを先のinsertを用いて単純疑問文に変えてみよう。

?- ['create.swi'].
true.

?- insert(right,node(か,[],[]),node(は,アトム,ロボットです),Q疑問文).
Q疑問文 = node(は, アトム, node(か, ロボットです, [])).

?- insert(right,node(か,[],[]),node(は,アトム, node(の,博士,ロボットです)),Q疑問文).
Q疑問文 = node(は, アトム, node(の, 博士, node(か, ロボットです, []))).

?- insert(right,node(か,[],[]),node(は,アトム,node([],ロボットです,[])),Q疑問文).
Q疑問文 = node(は, アトム, node([], ロボットです, node(か, [], []))).

最後のものは、明らかに、無駄なツリーを持つものになってしまったが、変更は容易である。

次は、「どれ、どちら、どなた、どこ、だれ、いつ、いくつ、どの、どう、なぜ」という、疑問詞を持った疑問文を生成することを試みる。

部分文章のprolog二分木化

先の記事で出力するようになった部分文章を再び二分木にするようにした。すなわち、次のようである。

?- ['verb.swi'].
true.

?- ws_testverb.
node(を,小田,含む).
true ;
node(が,node(は,node([],含む,4名),放送),終了する).
true ;
node(に,node([],node(ばかりの,終了した,アニメ),機動戦士ガンダム),熱中する).
true ;
node(が,node([],node([],熱中しており,まだ),ガンプラ),発売する).
true ;
node(に,node(から,node([],発売される,前),同作品),登場する).
true ;
node(を,node(の,node([],node([],登場する,ロボット兵器),モビルスーツ(MS)),模型),自作する).
true ;

元の二分木と構造は必ずしも一致せず、動詞が原型になって、自立した文章の体をしていることが異なっている。壊したり作ったり。これで、一つの文章でできることは大体終わった。