どこまで人手でやれるか

2009/11/27 分析あれこれ

はじめまして。なずき推進担当の佐藤慶和です。
私はなずきの企画・営業、なずきを使った分析業務と活用支援を担当しています。
本コラムでは、そんな活動を通じて出会った素朴な疑問を自分なりの方法で調査・挑戦していってみたいと思います。
 記念すべき第一弾ですが、テキスト解析のご相談を受ける中で常々、
 「数百件のテキストなら、人手で読んだほうがいいですよね」や、
 「人手で読める範囲なので、システム覚えるより精度も効率も良いですよね」
 などという話が、お客様や弊社内部でも出ます。

そこで、疑問に思い調査です。
 調査:全て人手で分析するとどの程度時間がかかるのか?
 目的:平均100文字程度の文章200件を、6つの分析軸に分類し件数と傾向を把握する

■予想
今まで分析業務もある程度経験していること、分析軸も決まっているのでタグ付して
エクセルでまとめるだけの作業。それを考慮し、90分程度で処理できると予想しました。

■経過
 開始 0分(件数0) :やる気に満ち溢れ、いざ挑戦開始です
 開始 20分(件数41):順調に分析するものの、2件/分がやっと
 開始 30分(件数58):類似文章を何に分類したか見直すため時間を浪費
 開始 60分(件数108):集中力維持のため小休憩、なかなか件数が進みません
 開始 90分(件数149):類似文章を再度発見し前の分析に疑問を持つ
 開始110分(件数161):疑問がさらに大きくなり、再度見直すため時間を浪費
 開始130分(件数200):ひとまず分類は終了、傾向把握作業開始

■結果
必要時間:約140分(分類後にエクセルに落として整理時間含む) 
精度:システムよりは良さそうですが、見直すと数件違う分析軸だと感じるものが存在
やり直しや分析軸の追加をしたくなる結果になりました
感想:処理前に結構ルールを決めていたのですが、微妙な文章が多く、それらをどうす
るのかという点で、ブレが生じてしまい予想以上に時間を浪費。
※(参考)なずきEAを使って再度分析
   処理数:200件
   分析処理所要時間:約30分 
   慣れがあることもあり、相当効率化できています。

■結論
 数百件でもシステムに頼るほうが効率的のようです
 人手でやるなら、数十件レベルにしておいたほうが良いかもしれません
※もちろん、頻度や熟練度にも関わるかと思いますので参考程度です

 以上、当たり前の結論&よくわからない部分も多いとは思いますが、第一回挑戦内容でした。安易な気持ちで開始しましたが、とても疲れます。とはいえ、精度という面ではシステムと対等に渡り合えた(?)気がするので、満足して次の挑戦に行きたいと思います。

皆様の周りで言われているテキスト解析の常識で、挑戦してみたら?という事がありましたら是非ご連絡を。

※本コラムは私の個人的な意見です。間違っていることもあるとは思いますが、寛大な気持ちで流して頂けると幸いです。御意見ありましたら勉強させて頂ければと思います。

Yahoo!ブックマーク  Googleブックマーク  はてなブックマーク  del.icio.us  newsing