簡単にデータの切り口、見つけたいなー
最近ビッグデータの読み解き、表現の仕方と戦っているはやとです。
今回は日本で最もビッグデータを所有していると言っても過言ではないYahoo!のビッグデータレポートチームが作成した「ビッグデータ探偵団」を読んだので、重要なポイントの要約と感想を簡単に記していきます。
- ビッグデータでどんなことが出来るか知りたい学生
- ビッグデータの読み解き方を知りたい若手ビジネスマン
- 社内のビッグデータを何とか利用できないかと考える経営者
このような人には是非おすすめの1冊です。
"ビッグデータ探偵団"の著者、安宅和人とは
安宅和人さんは、現在はヤフー株式会社 チーフストラテジーオフィサー(CSO)として、活動しながら慶應義塾大学環境情報学部で教鞭も取られています。
これまでの経歴としては、東京大学大学院を卒業後マッキンゼーに入社。
イェール大学に入学し、Ph.Dを取得された後、マッキンゼーに復帰。
飲料、電子マネーを含む幅広い商品・事業開発、ブランド再生に関わっていたそうです。
2008年Yahoo!に入社後、2012年より現職のCSOとなり、事業戦略課題の解決、大型提携案件の推進に加え、市場インテリジェンス部門、ヤフービッグデータレポート、データ活用を含む全社戦略などを担当されています。
有名な著書として、社会人必読の"イシューからはじめよ"があります。
"ビッグデータ探偵団"の目次
- はじめに
- 第1部 ビッグデータは「深層」を描き出す
- 第2部 ビッグデータはこんなに役立つ
2部構成になっており、1部では育児や新卒社員の心情変化など具体例を交えながら、ビッグデータの分析における重要な点を紹介しています。
2部ではより高度な分析、例えば地震発生時に活躍する”隠れ避難場所”の推測や、リニア導入における特定時間内における移動可能距離の増加、検索量から導く選挙予測（驚異の96%的中）などを紹介しています。
"ビッグデータ探偵団"の要約
はじめに
レポート作成を行う前に、ヤフーのビッグデータレポートチームではネタ案出しを行うそうです。
その際の3つのポイントが紹介されています。
・面白くてインパクトがあるか
・過度に手間がかかり過ぎずに結果が出せるか
・一般の人々にとってもわかりやすいか
さらにビッグデータと言われて久しいですが、データマイニングにおける非常に重要な観点も記載されています。
それは、「データの力とAIの力を解き放った後、最終的に必要となるのは、生井の人間の感じる力、決める力、伝える力である」。
まさに、データという塊をどのように活用するかを考え、加工し、表現するのは人間のさじ加減1つで大きく変わります。
第1部 ビッグデータは「深層」を描き出す
ビッグデータでは、感覚的には当たり前とも思える「あるある」を、検索キーワードの量という客観的なデータによって言語化、可視化できるのは非常に貴重である。
なぜなら、プライベートな興味関心や感情という要素については、統計データがなかったり、そもそも調査することが難しかったりするからです。
具体例として、育児に関するニーズ抽出を実施しています。
"抽出手順"
・1年間の全検索キーワードから共起関係を抽出し、関連度を数値化
・上記データセットを用いて、育児に関するキーワードだけを抽出
・ニーズごとにクラスタリング
・クラスタリングしたものを、検索タイミングの時系列情報を付与
またYahooだからこそ取得できるデータ、ある特定の属性の人の検索行動の変化を追うことで、その人の悩み事の変遷を見ることができます。
それらを大量のデータから集めることで、次にその人がどのような悩みを抱えるか、具体的には出産してから100日後にはどのような悩みを抱えているかを予測することができます。
マーケターにとっては、客観的なデータから、ある属性の人たちに、ニーズが顕在化する前後で広告などを出せるのでとても重宝しそうです。
また検索だけでなく、TwitterなどのSNSデータからしか読み解けない内容もあります。
・気持ちや感情など、衝動的な気持ち
・体調の変化など、些細な変化
ここまで見てきて、検索エンジン、SNSの情報など宝の山のように見えますが、あくまでも分析する上では以下の内容が重要と述べています。
・どんなに良いデータ素材があっても、使う人次第である
・「こんなことが分かったら面白いのではないか」を深掘る
・結果を誰にでも伝わるように可視化するかがポイント
第2部 ビッグデータはこんなに役立つ
どれだけ膨大なデータあっても、ぱっと見たときに多くの人が理解できるように表現しないと、単なる無意味な数値の羅列となってしまう。
そのためデータのビジュアル化は非常に重要なポイントである。
またYahooでは様々な分析を行なっている。
・未来の人の移動分析による混雑状況分析
・救援活動を支援する”隠れ避難所”推定
・リニアによる移動時間の短縮効果
・人間が興味を持つトピックス分析
・検索量から読み解く選挙予測
・Yahoo独自の景気分析と指標の公表
"ビッグデータ探偵団"の評判
「ビッグデータ探偵団」 #読了
— オリカルクム (@GWladus1550) November 23, 2019
安宅和人 / 池宮伸次
Yahoo!ビッグデータレポートチーム
データ解析のプロは、膨大な羅列にすぎないデータから何を目的に、
どうやって意味のあるデータ
をとりだすのか。
基本的には、仮説をたて、手法を確立し、実験する科学実験と同じやり方なのが新鮮だった☺ pic.twitter.com/2lan2ru8hC
安宅和人、池宮伸次、Yahoo!ビッグデータレポートチーム『ビッグデータ探偵団』https://t.co/erMSppPZqX
— 小林雅宏 (Masahiro Kobayashi) (@mas_719) September 17, 2019
冒頭から面白いネタが満載で面白い！また、「検索発掘王」とか「キラキラデータママ」とか、キャラの濃いメンバー達の活躍にも注目しながら読んでます。 pic.twitter.com/LNzwpTjwEW
終わりに
全体的にビジュアル化された内容が多く、本書の中でも述べられている”相手に伝わる表現”が意識されていると感じました。
ビッグデータの具体的な読み解きや、表現など参考になるところが非常に多かったです。
キーワードを広げる際は共起語を利用したり（共起ネットワークはKH Coderが使えそう、総量を比較する際には基準値を載せたり、予め前提を決めて（ある意味決め打ち）傾向を図るなど、明日からの業務に活かせそうな点も多かったです。
”発想の広がりと、データの切り口をどのように表現するか”がポイントですね。
