Sufaryで自分マイニング　ブログでよく使う単語を発見する

検索プログラムのSufaryはときどきデスクトップで使っている。先日、作者のたつを氏がこんな実験をしていた。

・[を] 自分マイニング！ - Blogでよく使うフレーズは？
http://nais.to/~yto/clog/2005-01-18-3.html

自分のブログの記事から特徴的な言葉遣いを抽出するテキストマイニングの実験。

・SUFARY
http://nais.to/~yto/tools/sufary/
Unix用だが、Windowsでもコンパイルできる。

Safaryは検索するだけでなく、文書の索引データをn-gramで高速に作成できる。

n-gramとは言語処理の手法の一つで、nの部分には数字が入る。文章を１文字ずつずらしながらn文字分のパターンを抽出する。

たとえば、「こんにちは」を3-gramで処理すると、

「こんに」
「んにち」
「にちは」

というパターンを切り出せる。（厳密には日本語文字は１文字２バイトなのでこの例は6-gram）。

この機能を使って、私のブログの過去ログ520日分すべてを対象に、パターン分析を行った。

・日本語（２バイト）文字のみを対象とする。
・言語処理におけるゴミ（記号や修正不能な文字化け等）を除外する
・明らかにひとつの単語である場合は重複を削除。
　実例：
　「132 ュニケーション」　「132 ミュニケーショ」　「132 コミュニケーシ」
　の場合、回数が同一で「コミュニケーション」であると特定できるので、先頭語を含む「132 コミュニケーシ」を採用し他を捨てる。

こうした処理の結果、以下のようなことばの登場回数ランキングが発見された。

■3文字のランキング

１位　955 がある
２位　950 います
３位　876 ではな
４位　874 サイト
５位　859 されて
６位　839 ていた
７位　812 った。
８位　806 ない。
９位　781 ネット
10位　770 ように

３文字ではまだ実際にどのような文章の一部だったのか特定が難しい。とりあえず、カタカナとしてサイトとネットは多く使ったようだ。

■4文字のランキング

１位　877　っている
２位　856　である。
３位　825　れている
４位　711　います。
５位　702　されてい
６位　612　ではない
７位　575　ることが
８位　503　すること
９位　482　いうこと
10位　463　るという

トップは「〜と、なっている」「持っている」「分かっている」のような使い方の一部だった。２位は文末の「である」。

■5文字のランキング

１位　462 されている
２位　430 ということ
３位　410 ことができ
４位　404 している。
５位　377 れている。
６位　331 ています。
７位　301 のではない
８位　287 ることがで
９位　286 ネットワー
10位　279 もしれない

「されている」、「ということができる」、「している」、「かもしれない」。５文字と次の６文字くらいが語尾の結び方の特徴が顕著に現れている。

■6文字のランキング

１位　287 ることができ
２位　278 かもしれない
３位　273 ことができる
４位　251 ンターネット
５位　251 インターネッ
６位　230 と思います。
７位　226 のではないか
８位　215 されている。
９位　208 ネットワーク
10位　204 コミュニティ

「〜することができる」、「〜かもしれない」、「〜と思います」、「〜のではないか
」、「〜されている」、インターネット、ネットワーク、コミュニティ。よく使うフレーズの数々。

■7文字のランキング

１位　250 インターネット
２位　184 ることができる
３位　152 かもしれない。
４位　144 ことができる。
５位　135 アプリケーショ
６位　133 マーケティング
７位　132 コミュニケーシ
８位　130 インタフェース
９位　125 のではないかと
10位　113 することができ

「インターネット・アプリケーション・マーケティング」が私のカタカナ３種の神器だと判明。そういうタイトルの本でも書いてみようか...。それが売れたら２冊目は「ネットワーク・コミュニティ・インタフェース」で決まり。

なお2文字の漢字単語を調べたところ、以下のような状況になった。

■2文字の漢字単語

１位　867 会議
２位　728 検索
３位　649 世界
４位　616 著者
５位　556 時間
６位　555 技術
７位　544 自分
８位　513 研究
９位　485 科学
10位　460 紹介

「会議」は昨年の無敵会議の影響。「著者」は書評内でよく使うため。

典型的な私の文章というのは、

「
インターネット検索の技術は、コミュニティのマーケティングに利用することができるアプリケーションなのかもしれない、と著者は世界会議で自分の研究を紹介している。」

こんなかんじであることがわかる。そのまま過去に書いていそうな気もする。

この調査、最初は自分の文章の癖が分かって面白かったのだが、だんだんと「自分らしさ」に自家中毒を起こしそうな気分になってきた。もっと語彙や文体に広がりを持ちたい今日この頃である。