形態素解析エンジン『Tofu』について

『Tofu』とは

形態素解析エンジン『Tofu』は形態素解析を行う COM コンポーネントです。
Windows上でCOM コンポーネントを呼ぶことができる言語（VB、C#等）であれば、『Tofu』COM を使用することができます。
形態素解析といえば、MeCab が有名ですが、『Tofu』は MeCab よりもコンパクトで、かつ解析スピードが速いものを目指したものです。

１．特徴

解析スピードはMeCabの数倍～数十倍以上
- シンプルな辞書構造と解析ロジックにより、MeCabの数倍から数十倍の解析スピードです。
辞書のサイズが約４．６MBとコンパクト
- PDAでの利用も考慮し、MeCab（Ver.0.98）が使用している辞書（IPADIC）に比べて約10分の１のシンプルかつコンパクトな辞書です。
多言語から呼び出すことが可能
- COMの形式で提供するため、Windows環境であれば多言語（VB、VC/C++、VC#、ASP、VBScript、PHP等）から使用することが可能です。
名詞だけの抜き出しAPI
- 1個のAPIで、形態素解析を行った結果から名詞だけを返す機能を持っています。文章からキーワードだけを残したいという場合に利用できます。
  ※ 現在暫定仕様として、未知語も名詞として抜き出しています。また、代名詞等は含みません。
ビタビアルゴリズムを簡略化して適用、かつ品詞間の連接頻度のみを採用
- 解析のスピードアップを図るため、形態素解析において一般的なビタビアルゴリズム（Viterbi Algorism）を簡略化したロジック（連接コスト最小法）を採用しています。解析過程において、複数の候補が存在する場合が多々ありますが、最も確率の高い候補を解析結果にします。文章の品詞間の連接頻度を集計した上で、ヒューリスティックな補正を行っています。
複数の改行やTABコードを圧縮して解析する機能
- 入力する文章に改行やスペース、TABコードなど連続していても、まとめて１個のスペース（記号,空白）に圧縮して解析を続行します。改行の多い記事などのテキストをそのまま入力することができます。

２．API

『Tofu』COM が提供する主なAPIの一覧を次に示します。詳細は「日本語形態素解析エンジン『Tofu』プログラミングAPI」を参照してください。

『Tofu』COM が提供するAPI一覧

	メソッド名	機能	概要
1	analyze	品詞情報付き解析	引数で渡された文章を形態素に分解し、品詞情報付きの解析結果を返します。
2	tokenize	分かち書き	引数で渡された文章を形態素に分解し、スペースで連結して返します。
3	selectNoun	名詞取り出し	引数で渡された文章から形態素解析の過程で名詞と判定した単語のみを、スペースで連結して返します。

３．動作環境

形態素解析エンジン『Tofu』は、以下の環境で動作します。

動作OS　　　　　　　　　　　　　　　　： Windows XP／Vista　(※1)
必要ハードディスク容量　　　　　　　： 5MB以上
必要メモリ容量　　　　　　　　　　　　： 128MB以上

　(※1) Windows Vistaについてはインストール時に注意事項があります。また、Windows 7 については動作未確認です。

　『Tofu』COM をデモするためのツール『Tofuデモ(TofuDemo.exe)』は、VB6ランタイムが必要です。また、C#版デモツール『TofuTester.exe』は、.NET2.0以上が必要です。

　ただし、WindowsXP SP2/SP3 であれば、標準でVB用のランタイムが予めインストールされているため、何もインストールしないでTofuDemo.exeが動作します。また、Vistaであれば、C#製のTofuTester.exeが通常そのまま動作しますので、とりあえず動作は確認できるはずです。

『Tofu』の使用

１．『Tofu』のインストール手順

『Tofu』COM のインストール手順を以下に示します。

Tofu一式ファイル（Tofuxx.lzh：xxはバージョン番号）を解凍して適当なディレクトリ（"C:\tofu"等）に置きます。
以降、解凍されたファイルが「"C:\tofu"」に置かれていることを前提に進めますので、別のディレクトリに置く場合はディレクトリパスを読み替えてください。
コマンドプロンプトを開きます。ただし、Vistaであればコマンドプロンプトを管理者権限で実行させる必要があります。
Vistaの場合は、以下のようにスタートメニューのリストからコマンドプロンプトを右クリックし、「管理者として実行（A)...」を選択して、表示されたダイアログの「続行」ボタンを押します。
コマンドプロンプトにおいて、"cd C:\tofu" と入力してENTERキーを押し、"C:\tofu"をカレントディレクトリとします。
コマンドプロンプトから "regsvr32 C:\tofu\Tofu.dll" と入力してEnterキーを押し、Tofu.dllをレジストリに登録します。登録に成功すると以下のダイアログが表示されます。
次に、環境変数を設定します。WindowsXPであれば、画面上の「マイコンピュータ」を右クリックして「プロパティ」を選択し、表示されたダイアログの「詳細設定」タブを開きます。
Vistaであれば、「コントロールパネル」→「システムとメンテナンス」→「システム」→「システムの詳細設定」を選択し、表示されたダイアログの「詳細設定」タブを開きます。
環境変数ボタンを押し、表示される環境変数ダイアログの下段の「新規」ボタンを押して、以下のようにシステム変数に「TOFUDICPATH」、変数値にTofuのパス（C:\tofu\TofuDic）を設定して「OK」ボタンを押します。
表示される環境変数ダイアログを「OK」ボタンを押して終了させます。
以上でTofu COMのインストールは完了です。
後は、TofuTester.exe（VIsta時v）またはTofuDemo.exe（XP時）を起動させてください。

２．Tofuデモツールについて

【概要】

Tofuデモツールは、VB6.0で作成された、Tofu.dllを呼び出してその機能を確認するためのツールです。以下にツールの使い方の概要を示します。なお、動作環境はWindowsXPの前提です。Vistaで動作させる場合は、セキュリティの設定によって異なりますが、管理者として実行させないとうまく動作しない場合があります。その場合は管理者として実行させてください。

【手順】

C:\tofuにあるTofuDemo.exeをダブルクリックしてTofuデモツールを起動させます。
起動した『Tofu』テスタの入力文字列テキストボックスに、解析したいテキストをコピー＆ペイストで貼り付けるか直接入力します。
確認したい機能のボタンを押します。
入力したテキストに対して該当の解析処理が行われ、結果が出力結果テキストボックスに表示されます。結果の文字列を拡大するなら「＋」ボタン、縮小するなら「－」ボタンを押します。

以下にデモツールの機能の一覧を示します。

Tofuデモツール機能一覧

	ボタン／表示	機能
1	形態素解析ボタン	入力文章テキストボックスに入力された文字列を引数としてTofu.dllのanalyzeメソッドを呼び出し、その結果を出力結果テキストボックスに表示します。
2	分かち書きボタン	入力文章テキストボックスに入力された文字列を引数としてTofu.dllのtokenizeメソッドを呼び出し、その結果を出力結果テキストボックスに表示します。
3	名詞抜き出しボタン	入力文章テキストボックスに入力された文字列を引数としてTofu.dllのselectNounメソッドを呼び出し、その結果を出力結果テキストボックスに表示します。
4	＋ボタン	出力結果テキストボックスに表示されたフォントのサイズを14ポイントにします。
5	－ボタン	出力結果テキストボックスに表示されたフォントのサイズを10ポイントにします。
6	入出力クリアボタン	入力文章及び出力結果のテキストボックスをクリアします。
7	終了ボタン	デモツールを終了します。
8	入力文章テキストボックス	解析したいテキストをコピー＆ペイストで貼り付けるか直接入力します。
9	出力結果テキストボックス	解析結果が表示されます。
10	所要時間	該当メソッドの実行時間をmS単位で表示します。

３．Tofuテスタツールについて

【概要】

Tofuテスタツールは、VB2008.netで作成された、Tofu.dllを呼び出してその機能を確認するためのツールです。動作環境はWindowsVistaが前提です。なお、.net Framework 2.0 以上がインストールされていればWindowsXPでも動作します。
画面構成、機能は全てTofuデモツールと同じですので、操作手順の記述は省略します。

４．『Tofu』のアンインストール手順

『Tofu』をアンインストールする手順を以下に示します。

【概要】

『Tofu』COMのインストール時、環境変数 TOFUDICPATH を作成して辞書の存在するディレクトリパスを設定しました。また、『Tofu』COM の情報をレジストリに登録しました。アンインストールはこの２つの情報を削除することで行います。

【手順】

WindowsXPであれば、画面上の「マイコンピュータ」を右クリックして「プロパティ」を選択し、表示されたダイアログの「詳細設定」タブを開きます。
Vistaであれば、「コントロールパネル」→「システムとメンテナンス」→「システム」→「システムの詳細設定」を選択し、表示されたダイアログの「詳細設定」タブを開きます。
「環境変数」ボタンを押し、表示される環境変数ダイアログの下段の「システム環境変数」のウィンドウ中の「TOFUDICPATH」の行をクリックして「削除」ボタンを押します。
次に、コマンドプロンプトを開きます。ただし、Vistaであればコマンドプロンプトを管理者権限で実行させる必要があります。 Vistaの場合は、以下のようにスタートメニューのリストからコマンドプロンプトを右クリックし、「管理者として実行（A)...」を選択して、表示されたダイアログの「続行」ボタンを押します。
コマンドプロンプトにおいて、"cd C:\tofu" と入力してENTERキーを押し、"C:\tofu"をカレントディレクトリとします。
コマンドプロンプトから "regsvr32 /u C:\tofu\Tofu.dll" と入力してEnterキーを押し、Tofu.dllのCOM情報をレジストリから削除します。削除に成功すると以下のダイアログが表示されます。
最後に、『Tofu』のインストールされているディレクトリをまるごと削除すればアンインストールは完了です。

形態素解析について

『Tofu』が行っている形態素解析の概要と、採用している方式について以下にまとめます。

１．形態素解析とは

形態素解析は、文章を単語に分解することです。単語は品詞という種別に分けられており、単語辞書に登録されています。この単語辞書を用いて、解析対象の文章を、日本語の文法として可能な形に分解します。その結果はひとつではなく、文法的に正しい複数の候補があり得ます。文章の長さによりますが、候補は数百から数十万件に及ぶ場合があります。人間が意味を考えながら文章を読む場合、論理や文脈を追っているため、解釈に複数の候補があるような場合はきわめて少ないといえます。しかし、ソフトウェアによる形態素解析は、意味まで追うことができないため、文法的に不可能な場合を除いて複数の候補が存在するのが普通です。

形態素解析のイメージ図

このイメージ図は、形態素解析の候補が複数あることを表しています。実際の形態素解析の過程で、一時的に作成される候補はもっとたくさんあります。この候補の中から、日本語の文章としてより自然なものを選択し、最終的な解析結果としなければなりません。この例の中で、「に：動詞,自立」は、その後に「役立つ：動詞,自立」が続いていますが、この接続パターンは文法的にあり得ないため、候補から除外されなければなりません。また、「かもしれない」の箇所は候補により単語の区切りが異なっています。最終的にどの候補が選ばれるかは、単語の品詞と品詞の連接コストを計算した結果によります（連接コスト最小法）。

２．連接コスト最小法

連接コスト最小法は、品詞間の連接のコストを予め決定して連接コスト辞書に収めておき、形態素解析の候補の選択時に、最小のコストになる候補を選択する方式です。連接コストは、品詞の接続の自然さの度合いを指し、自然であれば低い値が、不自然であれば高い値が設定されます。つまり、コストが低いということは確率が高いことを指します。このロジックは、ビタビ・アルゴリズムに準じたものですが、連接コストのみを計算するという点が通常の形態素解析と異なります。

連接コスト計算例

上の連接コスト計算例の図において、Ａ、Ｂ、Ｃの候補のそれぞれのコストを計算すると、Ａ＝8598、Ｂ＝13001、Ｃ＝14001となります。従って、赤い線で結ばれた候補Ａが解析結果として採択されます。

３．品詞体系

『Tofu』で使用している品詞の区分とその例を挙げます。なお、この品詞区分は、IPA品詞体系の大分類と中分類にほぼ準じたものです。また、CODEは『Tofu』が内部で使用している品詞コードです。

品詞区分

CODE	品詞	例
0	未知語,*	辞書に登録されていない単語
1	その他,間投	「ァ」「よ」
2	フィラー,*	「あのー」「えーと」「えー」
	感動詞,*	「御意」「どーぞ」「ごきげんよう」「もしもし」
4	記号,アルファベット	「A」「B」「C」
5	記号,一般	「×」「＄」「々々」「｜」
6	記号,括弧開	「“」「[ 」「「」「【」「＜」
7	記号,括弧閉	「”」「] 」「」」「】」「＞」
8	記号,句点	「。」「. 」
9	記号,空白	「　」「」またはTAB、CR、LFなど
10	記号,読点	「、」「, 」
11	形容詞,自立	「凛凛しい」「にがにがしい」「誇らしい」
12	形容詞,接尾	「っぽい」「ったらしい」
13	形容詞,非自立	「（離れ）がたい」「（入り）づらい」
14	助詞,格助詞	「が」「の」「を」「に」「へ」「と」「より」「から」「で」
15	助詞,係助詞	「は」「も」「こそ」「さえ」「しか」「しも」「でも」
16	助詞,終助詞	「かしら」「な」「ぞ」「ぜ」「とも」「の」「わ」「や」
17	助詞,接続助詞	「ば」「と」「ても」「けれど」「が」「のに」「ので」「から」「し」「て」
18	助詞,特殊	「かな」「けむ」「にゃ」
19	助詞,副詞化	「と」「に」
20	助詞,副助詞	「ばかり」「まで」「だけ」「ほど」
21	助詞,副助詞／並立助詞／終助詞	「か」
22	助詞,並立助詞	「とか」「だの」「やら」
23	助詞,連体化	「の」
24	助動詞,*	「ある」「なら」「たく」「なる」「無き」
25	接続詞,*	「だから」「したがって」「しかし」「けれども」「また」「および」「あるいは」「もしくは」
26	接頭詞,形容詞接続	「お」「超」「真」
27	接頭詞,数接続	「小」「およそ」「各」「向こう」「計」
28	接頭詞,動詞接続	「ぶっ（飛ばす）」「引き（抜く）」
29	接頭詞,名詞接続	「悪代官」「御先祖」「広範囲」「小選挙区」「今大会」
30	動詞,自立	「いがみ合う」「たてつく」「垢抜ける」
31	動詞,接尾	「する」「られる」「させる」「がかる」
32	動詞,非自立	「行ってしまう」「やっちゃったね」「ご遠慮願う」
33	副詞,一般	「たいそう」「人一倍」「いけしゃあしゃあ」
34	副詞,助詞類接続	「あまり」「いつも」「ぱさぱさ」
35	名詞,サ変接続	「ドライブ」「苦労」「終了」「アピール」「くしゃみ」
36	名詞,ナイ形容詞語幹	「申し訳」「とんでも」「おとなげ」「味気」
37	名詞,一般	「本」「コンピュータ」「雪」「ありさま」
38	名詞,引用文字列	「いわく」
39	名詞,形容動詞語幹	「めちゃくちゃ」「あからさま」「ミステリアス」「最高」
40	名詞,固有名詞	「北海道」「日本」「東京タワー」
41	名詞,数	「億」「兆」
42	名詞,接続詞的	「vs」「兼」「対」
43	名詞,接尾	「気味」「枚」「可」
44	名詞,代名詞	「そこ」「私」「どれ」
45	名詞,動詞非自立的	「ごらん」「ちょうだい」
46	名詞,特殊	「そ」「そう」
47	名詞,非自立	「こと」「上」「旨」「もの」「初め」
48	名詞,副詞可能	「上旬」「若干」「常時」「少々」「場合」
49	連体詞,*	「あの」「あらゆる」「たいした」

４．単語辞書

『Tofu』が使用する単語辞書は、３３万語の単語と品詞区分を収めたものです。

単語辞書イメージ

この例は、「月」という単語の登録付近を示したものです。登録内容は単語と品詞コードの昇順に並んでいます。

５．連接コスト辞書

『Tofu』が使用する連接コスト辞書は、品詞の連接コストが2500パターン（50品詞×50品詞）分登録されています。品詞の連接コストは、文章の品詞間の連接パターンの頻度収集結果を元に自動生成されます。このオリジナルの連接コスト辞書に対して補正を行い、解析精度を上げてたものをリリースしています。

連接コスト辞書イメージ

リリース履歴

2010.09.16 Ver.0.2.2版リリース
- tokenaizeメソッドで抽出する名詞に『名詞,副詞可能』を追加
2010.01.15 Ver.0.2版リリース
- 連接コスト辞書の見直し
2009.10.12 Ver.0.1版作成
- 非リリース版