1億1千万ツイートのprolog化が終わって

合計で、延べ40時間ほどcore-i9プロセッサを動かし続けて、ようやく全てのツイートの処理が終わった。一つのツイートに複数の文章があることも含めて、合計で、1億4084万5837行のprologの二分木ツリー宣言文となった。ファイルサイズは、42.96GBである。

ただ、絵文字が多数で文章的に意味をなさないものや、キャラクタコードがおかしいものなどがprologの読み込み時にエラーになるので、それを今取り除いている。

それはつまりswi-prologに読み込んでいるということなのだが、1000万行を読み込むのに15分かかるので、全部読み込んで、エラー行を確定するのに、3時間30分程度かかる予定だ。

それが終わったら、読み込めたものを実行可能ファイルにすることと、元のswiファイルから、それらの行を全て削除する予定だ。