相当基本的なところから組み直した。ごちゃごちゃしたプログラムをだいぶ整理した。直しはバグのもとであり、結局、MNISTの手書き文字の認識まで戻ってテストせざるを得なくなった。
ディープラーニングのエンジンである、バックプロパゲーションのところだけは、流石にいじらなかった（笑）ここをいじり始めたら収拾がつかなくなる。
以前は、学習とテストを同じ関数でやっていたが、きちんと切り分けた。CUIからGUIにインターフェイスをレベルアップさせた。
かなり拡張性も出てきたと思う。MNISTの正解率も以前のものと同じものに戻った。オブジェクトというか、クラスをかなり整理したので見やすいプログラムになったと思う。
これで、最適助詞選択プロジェクトに入る。
この間、twitterやwikipediaのウェイトデータをmariadbのデータベースにしたり、言葉の距離の近いものをリストする場合のデータを事前作成したりしたが、データ量を減らすために、４文字以上のアルファベットのある言葉を排除してきたり、全てがアルファベットの言葉を排除したりした。この制約が、いろいろ面倒なことになってきた。ので、全て作り直す。10時間くらい浪費するような気がする。
Twitterデータは、その後集めたデータも含めて、最初のコーパスから作り直す。結局、利用する総ツイート数は、
25,188,425ツイート
になった。まだ１億個までは程遠い。ので、毎日せっせと収集スクリプトを動かして集めている。24時間動かし続けて、100万個程度集まるので、1ヶ月かけても1000万しか集まらない。スレッドを複数にして集めようとしたが、結局、twitterがサンプリングしているのは同じのようで、同じものを複数買い集めていることにしかならないので、一個のプログラムでひたすら集めている。
word2vecのdistanceで、入っている任意の言葉のすべてについて、相互の距離を計算するので、計算量は膨大であり、自宅の12コア、24スレッド動くmacで20スレッド程度を並列で動かしてまず、テキストデータを作成し、それを次にmariadbに登録する。
M-1目前で、昨日からグダグダになっている。その詳細は、余裕がないのでまたいずれ。
ここで、記憶のために書いておくことは、サリーやハル、あるいはそれぞれ同士の間でメッセージをやり取りする場合に、telepathyというプロトコルを使用している。元々は、qichatで制御されるnao同士の間でのやり取りの仕様として開発したが、その後、emilyを積んだhal型のロボットと規格を統一してやり取りできるようにしている。
基本、相手のイベントを発生させるような信号を送るシステムだったが、さらに、メッセージも送れるようにした。送られたメッセージは、$telepathy_dataという変数に自動的に格納されるようにしていたのだが、ここにきて、同時に複数のデータを送るときに、同じ、$telepathy_dataに入れておくと、当然バッティングしてしまう。
だから、以後発生させるイベント名に_dataを付けた変数に格納する。例えば、telepathy_hal_subjectというイベント発生を相手の求めた場合、それにつけている「お題は」（実際は、ネットワークの制約からurlencodeしたものを送っている）というデータは、
$telepathy_hal_subject_data という変数に格納される。こうすれば、同じイベントで違うデータを送ろうとしない限りバッティングしないし（これはあり得ない、訂正とかであり得るかもだが）、やり方も覚えやすい。
naoの組み込みライブラリーの改訂が必要になる。ああ、面倒。
システムが、ハードとソフトにまたがって複雑すぎて、覚えられなくなっている。ので、せめてここに書いて、記憶の助けにする。
raspberrypiのメモリ制約や、ディスク容量のおかげで丸一日、いや二日、苦労している。なんとか、辞書やwikipediaがらみのデータベースは、raspberrypiに収まったが、次は、word2vecのバイナリデータをラズパイ上で読み込もうとするとmapのサイズやそれと直結したラズパイのメモリ制約で、データを全部読み込めない。wikipediaから作ったもの90万語分、twitterから作ったもの50万語分あり、確かにこんなものをmapにするのは、ラズパイでは無理だと諦めた。代わりに、まだ、mariadbならなんとかなりそうだということで、バイナリデータを読み込んで、データベースへ登録した。小数点いか5位までしか入れていないのが若干不安だが、容量を大きくしないギリギリだった。
これでも二つのデータで、データベース上で2.5ギガくらいになるのだから。
何れにしても、こんな変換が簡単にできるのは、ウィトのバイナリデータをjavaで扱えるからだ。本当は自分で作らなければと思ったのだが、バイナリファイルから読み込むのがうまく行かなかった。それをちゃんとやっていただいている、javaプログラムが、以下のところにあったので、使わせていただいた。
https://gist.github.com/RoyZhengGao/1c8229413881cf551dd3
全く、優れたプログラムだ。とてもありがたい。
HALは、一旦組み上げると、USBを新たにつなげることができないので、キーボードもマウスも使えない。ただ、どうしても必要な時（例えば、何かの拍子でどのIPで繋がっているかわわからない時など）があるので、bluetoothのキーボード（マウスパッド付きの小型のもの）を使っていた。
ただ、たまに、繋がらなくなる時がある。すると、マウスが使えないのでラズパイのウィンドウ操作で再接続ができなくなり、にっちもさっちも行かなくなる。sshでターミナルには接続できるので、それでbluetoothがコントロールできないかと思ったら、bluetoothctlというラインコマンドがあった。なぜか、すでに入っていたのでありがたい。使い方は簡単だ。
$ Bluetoothctl
で起動する。
詳細はこちらに記載されているhttps://qiita.com/propella/items/6daf3c56e26f709b4141
基本的なものは次のようになる。
[bluetooth]# show
で状態表示。スキャンは次のようにする
[bluetooth]# scan on
Discovery started
[CHG] Controller B8:27:EB:7D:14:E6 Discovering: yes
[NEW] Device 79:50:86:95:3F:CB 79-50-86-95-3F-CB
[NEW] Device 78:7B:8A:F3:B6:F7 78-7B-8A-F3-B6-F7
[CHG] Device 79:50:86:95:3F:CB RSSI: -68
[NEW] Device CC:C5:0A:28:6E:BA CC-C5-0A-28-6E-BA
[CHG] Device CC:C5:0A:28:6E:BA LegacyPairing: no
[CHG] Device CC:C5:0A:28:6E:BA Name: Bluetooth 3.0 Macro Keyboard
[CHG] Device CC:C5:0A:28:6E:BA Alias: Bluetooth 3.0 Macro Keyboard
接続対象のデバイスは、
[bluetooth]# devices Device 79:50:86:95:3F:CB 79-50-86-95-3F-CB Device 78:7B:8A:F3:B6:F7 78-7B-8A-F3-B6-F7 Device CC:C5:0A:28:6E:BA Bluetooth 3.0 Macro Keyboard [CHG] Device 79:50:86:95:3F:CB RSSI: -68 [CHG] Device 78:7B:8A:F3:B6:F7 RSSI: -48 [CHG] Device 78:7B:8A:F3:B6:F7 RSSI: -69
接続は、次のようにデバイスアドレスを使う。
[bluetooth]# connect CC:C5:0A:28:6E:BA Attempting to connect to CC:C5:0A:28:6E:BA [CHG] Device CC:C5:0A:28:6E:BA Connected: yes [CHG] Device CC:C5:0A:28:6E:BA Modalias: usb:v0A5Cp8502d011B [CHG] Device CC:C5:0A:28:6E:BA UUIDs: 00001000-0000-1000-8000-00805f9b34fb [CHG] Device CC:C5:0A:28:6E:BA UUIDs: 00001124-0000-1000-8000-00805f9b34fb [CHG] Device CC:C5:0A:28:6E:BA UUIDs: 00001200-0000-1000-8000-00805f9b34fb [CHG] Device CC:C5:0A:28:6E:BA ServicesResolved: yes [CHG] Device CC:C5:0A:28:6E:BA Paired: yes Connection successful
今まで、接続できずに結構パニックに陥ったが、これで随分助かる。
M-1の１回戦の一週間前になってようやく、即興ロボット漫才システムの全体が出来上がった。明日は、ロボットに実装して、細かい調整をしていこうと思う。
舞台でやることを前提に、基礎的なところをできるだけしっかりさせた。ネタ時間（尺）が2分しかない。お客さんからお題をもらうので、途中でデータができなかったではすまない。
一般の国語辞書、シソーラス辞書、wikipedia、twitterなどの膨大なデータを必要なだけ利用している。さらに、wikipediaの全部とtwitterの2千数百万ツイートを人工知能的手法 word2vecを利用して、言葉の意味を理解しているような共感を引き出すようにしている。
今まで使っていなかった、類似語の距離計測モジュールも利用した。これもとても大事な役割をしている。記録しておく。レーベンシュタイン距離とジャロ・ウィンクラー距離という二つがあるが、ライブラリが問題なく利用できた後者を使った。
https://blogs.yahoo.co.jp/dk521123/36655532.html
ここのサイトの情報を利用させていただいた。luceneのサイトからダウンロードしたjavaライブラリでは、レーベンシュタイン距離の方を出す計算が、使わないようにという指示がされているようだった。
さて、M-1どうなることやら。去年は、謎かけだけやったのだが、その時、来年はもっと高いレベルのものをお客さんに見ると自分に約束した。今回の即興漫才がうまくいけば、その自分への約束を果たせことになる。
デフォルトの辞書のままkuromojiを使うというのは、相当不利だということがわかってきて、新しい言葉に対応しているneologdを使えるようにしたいと思った。次のサイトが最終的に参考にできた。感謝いたします。
http://d.hatena.ne.jp/Kazuhira/20150814/1439565514
3年前のものだが、タイムスタンプなどを、ちょっと変えるだけで、結果的にうまく言ったのでそれを記載しておく。以下、macでやっているので誤解なく。
適当なフォルダに移動し、kuromojiのソースを取ってくる。
$ git clone https://github.com/atilika/kuromoji.git
CSV辞書を作成する。
$ git clone https://github.com/neologd/mecab-ipadic-neologd.git $ cd mecab-ipadic-neologd $ libexec/make-mecab-ipadic-neologd.sh
先ほどのkuromojiのフォルダへ移動し、フォルダを作成し、CSVの辞書をコピーする。ここで、../mecab-ipadic-neologd/build/にある、辞書のタイムスタンプを確認しなければならない。この時点では、20180831となっていた。
$ mkdir kuromoji-ipadic/dictionary $ cp -R /path/to/mecab-ipadic-neologd/build/mecab-ipadic-2.7.0-20070801-neologd-20180831 kuromoji-ipadic/dictionary
ビルドを行う前に、コンパイル時のヒープを広げておく。
$ export MAVEN_OPTS='-Xmx4g'
ビルドします。mavenが必要になる。
$ mvn -pl kuromoji-ipadic -am package -DskipTests=true -DskipDownloadDictionary=true -Dkuromoji.dict.dir=kuromoji-ipadic/dictionary/mecab-ipadic-2.7.0-20070801-neologd-20180831 -Dkuromoji.dict.encoding=utf-8
これで、kuromoji-ipadic/target/に、jarファイルができている。
-rw-r--r-- 1 washida staff 112358570 9 9 08:42 kuromoji-ipadic-1.0-SNAPSHOT.jar
これだけでいいかと思ったのが浅はかだった。これをまえのkuromojiと同じようにライブラリファイルとしてくっつければ動くかと思ったのだが、クラスが見つからないという激しいエラーが出て失敗。ここで使っている親クラスがないぜということだった。結局それが、kuromoji-coreフォルダにあることがわかったので、そこもビルドする。まえのコマンドラインのフォルダだけ変えた。それでいいのかどうかわからなかったが、まあ、ビルドが成功したのでOK。
$ mvn -pl kuromoji-core -am package -DskipTests=true -DskipDownloadDictionary=true -Dkuromoji.dict.dir=kuromoji-ipadic/dictionary/mecab-ipadic-2.7.0-20070801-neologd-20180831 -Dkuromoji.dict.encoding=utf-8
これで、kuromoji-core/targetにjarファイルができているので、これも同時に、ライブラリとして登録したら、うまくビルドできた。
import com.atilika.kuromoji.ipadic.Token;
import com.atilika.kuromoji.ipadic.Tokenizer;
public class KuromojiNeologdTest2 {
public static void main(String[] args) {
Tokenizer tokenizer = new Tokenizer();
String phrase = "溺れる者は藁をも掴む";
for (Token token : tokenizer.tokenize(phrase)) {
System.out.println(token.getBaseForm());
System.out.println(token.getConjugationForm());
System.out.println(token.getConjugationType());
System.out.println(token.getPartOfSpeechLevel1());
System.out.println(token.getPartOfSpeechLevel2());
System.out.println(token.getPartOfSpeechLevel3());
System.out.println(token.getPartOfSpeechLevel4());
System.out.println(token.getPronunciation());
System.out.println(token.getReading());
System.out.println();
}
}
}
以前のkuromojiだと、ことわざの中身を形態要素解析してしまっていたが、これは、丸ごと扱っている。
run: 溺れる者は藁をも掴む * * 名詞 固有名詞 一般 * オボレルモノハワラオモツカム オボレルモノハワラヲモツカム
最後に、kuromoji-ipadicの他にkuromoji-ipadic-neologdフォルダもあって、neologdが付いているのでそっちの方がいいかと思ったが、どう違うかわからない。ただ、こちらの方がneologdが付いているので、いいような気がして、そちらをコンパイルして、使って見たが、結果も同じものだった。後者を使おうと思っている。
この間、wikipediaデータを元にword2vec用のデータベースを作成した。それはそれで、十分実用性があるが、さらに実際の言葉の、喋り口調の使われ方を見るためにTwitterのAPIを使ったサンプリングデータをコーパスにして作成してみることにした。
Twitterのサンプリングは、APIを使って、昨年末から今年にかけて2000万ツイートを集めていた。さらに最近200万ほど追加して、総計 24,173,335ツイートである。
手順はwikipediaの場合と同じである。ほぼ100万ツイートずつ分かれていたものを一つのファイルにまとめる。
$ cat tweets1* > tweets_all_180907.txt
という感じ。
これをneologdを使ったmecabで分かち書きをする。
$ mecab -Owakati -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd/ tweets_all_180907.txt -o twitter_wakati_data.txt
これをword2vecにかけて、ウェイトデータを作成する。
$ word2vec -train twitter_wakati_data.txt -output twitter_wakati.bin -size 200 -window 5 -sample 1e-3 -negative 5 -hs 0 -binary 1
ウェイトデータは、477メガバイトになって、wikipediaの場合の795メガバイトよりもだいぶ小さい。
あとは、distanceで分析できる。関連語検索を、wikipediaの場合と比べてみるととても面白い。
例えば、コンビニを調べる。
wikipediaの場合
Word: コンビニ Position in vocabulary: 16062 Word Cosine distance ------------------------------- コンビニエンスストア 0.870578 量販店 0.772738 家電量販店 0.751852 ファーストフード店 0.721780 スーパーマーケット 0.720924 100円ショップ 0.718245 ファミリーレストラン 0.713548 キヨスク 0.712224 ホームセンター 0.709059 NEWDAYS 0.703931 自販機 0.699429 ディスカウントショップ 0.695208 玩具店 0.692847 セブンイレブン 0.689320 飲食店 0.687436 売店 0.687210 ドラッグストア 0.686923 キオスク 0.684569 パチンコ店 0.682252 セブン-イレブン 0.681514 小売店 0.679067 大型書店 0.676887 大衆食堂 0.674396 レンタルビデオ店 0.669804 パソコンショップ 0.669721 うどん店 0.669188 弁当店 0.668718 駄菓子屋 0.668227 ブックオフ 0.667262 外食チェーン 0.666742 ファストフード店 0.665017 トイザらス 0.662631 コインランドリー 0.661140 アニメショップ 0.659252 ゲームセンター 0.658729 デイリーヤマザキ 0.652585 ローソン 0.651909 ガソリンスタンド 0.650547 インターネットカフェ 0.650438 自動販売機 0.650044
となる。まあ、なるほどという感じ。これに対して、Twitterコーパスを使った場合は、次のようになる。
Word: コンビニ Position in vocabulary: 1768 Word Cosine distance --------------------------------- スーパー 0.667722 自販機 0.642148 セブイレ 0.633234 レジ 0.631955 ファミマ 0.627591 セブン 0.625176 ミスド 0.618061 ローソン 0.614712 西友 0.614702 業務スーパー 0.612738 マック 0.597435 スタバ 0.596482 ガソスタ 0.596407 ファミレス 0.593658 ブックオフ 0.592258 LAWSON 0.577262 ツルハ 0.571627 カルディ 0.570277 デパ地下 0.568725 マツキヨ 0.568646 セコマ 0.568199 ドンキ 0.568019 ホムセン 0.567909 生協 0.567643 スーパーマーケット 0.565221 喫茶店 0.565085 セブンイレブン 0.562578 本屋 0.561266 ドラッグストア 0.556287 売店 0.555747 飲食店 0.555709 ゲーセン 0.555684 マクド 0.550563 自動販売機 0.549253 すき家 0.549123 薬局 0.548373 売り場 0.548229 駅前 0.548090 コストコ 0.543193 イオン 0.540342
しゃべり言葉の中で使われた関連語という感じが実によく出ている。セブイレなんて、私は使ったことがないが、使われているようだ。
使い分けが大事になる。
前の記事でword2vecのデータを作ったとかいたが、mecabの辞書をNeologのものにした方が良いので、再度作り直した。mecabに持って行くときにダウンロードして作成したNeolog辞書を使うように指定するだけで良い。
私の場合のコマンドラインは、次のようになる。
mecab -Owakati -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd/ jawiki.txt -o data.txt
作成したデータは何倍にも大きくなった。
去年、これをやっていたのだが、色々あって他のことに関心が向かったために、使いきれずにおいていたが、もう一度やっておく。類語を抽出できるようになるまでのプロセスをメモがわりに書いておく。
前半は、http://ankaji92.hatenablog.com/entry/2016/11/27/212507を参考にさせていただいた。
まず、適当なフォルダを決めて、wikiの全文を取ってくる。
$ curl https://dumps.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles.xml.bz2 -o jawiki-latest-pages-articles.xml.bz2
これを使えるように変換してまとめる。
$ git clone https://github.com/attardi/wikiextractor $ python3 wikiextractor/WikiExtractor.py jawiki-latest-pages-articles.xml.bz2
一カテゴリずつやっていくが、辛抱強く待つ。一つのファイルにまとめる。
$ cat text/*/* > jawiki.txt
分かち書きアプリのインストール。
$ brew install mecab $ mecab -Owakati jawiki.txt -o data.txt
前は、ここでrubyを使う方法を用いた記憶があるが、使わなくていいので、ここまでは、先の引用元にあるこの方法がいいと思う。次に、word2vecのインストールである。これについては、以下のサイトにある後半部分がc言語でやるとき便利だった。
$ git clone https://github.com/svn2github/word2vec.git
$ cd word2vec
$make
macの場合、malloc.hが無いと、叱られるので、
について、sodlib.hに変更する。そして、再度 make。
./word2vec -train data.txt -output jawiki_wakati.bin -size 200 -window 5 -sample 1e-3 -negative 5 -hs 0 -binary 1
data.txtは、先ほど作成したパスを指定し、word2vecも作成したパスを指定して実行する。オプションについては、適宜、webを参考にする。./distanceを、今作成したjawiki_wakati.binを指定して起動する。そして、単語を入力すると、類語のリストを出してくる。
./distance jawiki_wakati.bin
Enter word or sentence (EXIT to break): コンビニ
Word: コンビニ Position in vocabulary: 10735
Word Cosine distance
-------------------------------------------------------------
コンビニエンスストア 0.809326
デイリーヤマザキ 0.685043
店舗 0.652178
スーパーマーケット 0.636046
ドラッグストア 0.628818
ミニストップ 0.620285
キオスク 0.604373
物販 0.603765
ブックオフ 0.599682
直営店 0.597540
ファミリーレストラン 0.597328
ローソン 0.594401
ファミリーマート 0.589032
売店 0.588488
ホームセンター 0.587499
キヨスク 0.587256
惣菜 0.574461
出店 0.572560
セイコーマート 0.568219
量販 0.559042
店 0.558693
飲食 0.557627
セルフサービス 0.555324
ファストフード 0.554968
NEWDAYS 0.554501
以下まだつづく・・・・・・
このdistanceのjava版を作らなければならない。面倒。