Google の日本語 N-gram データ公開
そろそろ公開するよというはなしをこないだの NL 研のときにいっていて、ついに公開されたようだ。最近ひょんなことで、MeCab がひらがな未知語（例えば人物名の読みをムリヤリ動詞と助詞にわかちがこうとする）に弱いことを発見したんだが、その辺どうなってるんだろう。そういった統語構造の外の部分というのは、純粋な言語処理の研究対象から外されるんだろうが、実アプリケーションにするときにめんどくさくなってくる。
さーて、どうやって読み仮名を振ったらいいものか。未知熟語の確率的読み仮名推定とか、いかにもありそうだけど。まぁ、辞書でだいたいカバーできるかな。
