ビッグデータの活用を求められる背景には、企業が収集できるデータ量が増加したことや、コンピューター・AI技術が進展したことなどが関係しています。本記事では、ビッグデータを企業が活用するために知っておきたい身近な例や分析方法、注意点などについてまとめています。データ活用に興味がある方は、ぜひ参考にしてください。
ビッグデータとは?
まずはビッグデータの基本的な概要や特徴、種類について解説します。
ビッグデータの意味
ビッグデータと聞くと、単に巨大なデータの塊のような印象を受けますが、もう少しさまざまな意味を含んでいる言葉です。総務省の「情報通信白書」によれば、「事業に役立つ知見を導出するためのデータ」と説明されています。明確な定義があるわけではなく、さまざまな形や種類があるデータの集合、ビジネスの問題解決のために活用されるデータ群といった意味合いで使われることも多いようです。
IoTなどの技術が発達した現代では、企業が扱うデータ量も爆発的に増加しています。ほかのIT技術も進化しているため、膨大なデータでも分析ツールなどを駆使して、ビジネスへ効果的に利活用している企業も少なくありません。
また「情報通信白書」においても、新たな付加価値を創造するものとしてビッグデータの活用が期待されています。さらに新型コロナ感染症の拡大後は、サイバー空間とリアル空間が完全に同期する社会へ一層向かっていくとされています。そのためビッグデータの活用は従来の価値に加え、そうした変化に対応していくために活用を推し進めていくことが大切とされています。
参照元：令和 2 年版情報通信白書の概要
ビッグデータにおける5つのV
ビッグデータのはっきりした定義はありませんが、その特徴として以下5つの頭文字を取り、「5つのV」という表現がよく用いられます。
- Volume（量または容量）
ビッグデータというだけあって、扱うデータ容量は巨大です。どこから巨大とみなすかについては、数テラ～数ペタ程度からという見方が現状では多いようです。 - Velocity（速度や頻度）
ビッグデータの情報は交通系ICカードやPOSデータ、SNSの投稿など、情報更新スピードが速いものを収集することがほとんどです。そのため、データ活用にもリアルタイム性の高い処理が求められます。 - Variety（種類・多様性）
ビッグデータにはCSV・Excelファイルといった構造化データのほか、テキスト・映像・音声・ログ・位置情報などの非構造化データも含まれています。非構造化データ自体は新しいものではないですが、有益なデータとして活かしていこうという取り組みは近年になってからです。 - Veracity（正確性）
Veracityは、ビッグデータに存在する信憑性の薄いデータなどのノイズを除外して、クリーンさを保つことです。信頼できないデータからは何の発見も得られません。またValueは、データ活用とビジネス上の価値を結びつけることを指します。単に分析するのではなく、データから得た発見をどのように活かし、価値を生んでいくかという視点が重要です。 - Value（価値）
ただ集めるだけでなく、ビジネス上の洞察をもたらすデータこそが、企業にとって「価値」あるデータです。ビッグデータにおける「価値」とは、そのデータが企業に対し、どれだけプラスの影響を与えられるかを意味します。
ビッグデータの種類
ビッグデータを構成している主なデータの種類について解説します。
政府が扱う「オープンデータ」
政府や地方公共団体が保有する公共情報は、誰でも利用できるように公表されています。また、多くの公共データはオープン化が強く推進されており、インターネットなどを通じて簡単に入手できるようになっています。公開されているデータは統計情報や防災関連情報などさまざまですが、利用者のニーズに合わせて検討されているようです。
基本は公開されることが望ましいとされていますが、個人情報や個人の権利と利益、国や公共の安全・秩序に悪影響を及ぼす可能性があるものについては公開されません。
企業が扱う「知のデジタル化・M2Mデータ」
M2Mデータとは、生産現場のIoT機器から収集できるデータのことです。IoTでも特に機械同士が行う通信のことをM2M（Machine to Machine）と呼びます。M2Mデータの中身はSNS投稿などと違い、センサー機器から発生するリアルなセンシングデータです。たとえば、歪み・振動・重量・通行車両の形式などはM2Mデータに該当します。
知のデジタル化については、これまで人間の勘や経験に依存していた暗黙知・ノウハウを構造化し、デジタル化したものです。パーソナルデータを除くビジネスに関するデータを主に指しています。高齢化や担い手不足に悩む産業にとって、知のデジタル化は次世代へつないでいくための重要な役割があります。また、M2Mデータと知のデジタル化を合わせたものを産業データといいます。
個人が保有する「パーソナルデータ」
パーソナルデータとは、個人の名前・性別などの属性や行動、購買履歴、ウェアラブル機器から収集した個人情報などのことです。特定の個人がわからないように加工された人流情報や匿名加工情報も含みます。パーソナルデータは個人に最適化された商品やサービス、広告の提供に活用されることが期待されています。
よく似た言葉に個人情報がありますが、こちらは個人の識別が可能な情報が対象です。パーソナルデータは、個人を識別できるかどうかは問わないという点で違いがあります。
ビッグデータが注目されている背景
ビッグデータが注目されるようになった背景について詳しく解説していきます。
収集できるデータ量の増大
インターネットに続いてスマートフォンが普及し、SNSやアプリの利用が一般的になった結果、収集できるデータ量が爆発的に増加しました。そのデータ量の増加こそが、ビッグデータに注目が集まる理由のひとつになっています。
特にSNSを通じて収集できるデータ量は膨大なため、多くの企業が自社商品の改善などに活かすべく、Twitterの投稿などを分析しています。またIoTによって、家電製品や工場機器の稼働状況などのデータを頻繁に細かく収集できるようになったことも、データ量の増大と関係しています。
コンピューター性能の向上
昔だとビッグデータの取り扱いは、パソコンの処理性能からして難しいものがありました。しかし、性能のよいものが一般に普及した現在は、そうした問題が少なくなっています。
技術の進歩のおかげで、現在ではパソコンの処理速度に関わるプロセッサの性能がよくなっています。また、一般の人でも高性能なコンピューターを入手しやすい時代になっており、ビッグデータを適切に処理できる環境を整えやすいことも理由のひとつです。
AIの盛り上がり
ビッグデータの注目は、AI技術の進展とも関係しています。まずビッグデータを人が処理しようと思うと、大量の手動操作が必要になる、分析されないままのデータが大量に残るといった問題が出てくるでしょう。しかし、AIは人と違ってビッグデータのような膨大な情報を処理するのが得意です。少なくとも人間よりは多くのデータを素早く正確に処理できます。
そして、データには、データベース活用向きの構造化データのほかに、写真や映像などを含む非構造化データがあります。非構造化データの処理もAI技術の進歩によって可能となり、効率的に分析できるようになりました。そのAIが進歩した影響もあって、データ分析と関連性のあるビッグデータにも注目が集まったのです。
ビッグデータの例
ここでは身近な例を取り上げながら、ビッグデータの活用方法を解説します。
位置情報
位置情報機能を利用するアプリやサービスを活用して、消費者の行動傾向を分析し、マーケティングに活かす取り組みができます。データは消費者の利用デバイスから収集し、行動傾向の分析を行います。
身近な活用例を出すと、道路の交通状況の確認や、ユーザーが立ち寄る地域や観光施設の傾向を把握するのに利用されています。たとえばLINE Beaconでは、消費者が持つスマートフォンの位置情報と連動させ、実店舗への来店に合わせてクーポンをリアルタイムで配布する、という使い方がされています。
また在庫管理においては、画像情報・在庫情報と連携させながら陳列商品の位置情報を確認することで、商品の欠品の有無や、本来あるべき場所に置かれているかどうかなどを可視化できます。
購入履歴
購入履歴とは、消費者が買った商品やサービスの履歴のことで、効果的なマーケティング活動を行うためには欠かせないデータです。購買行動を分析することで、購入者の性別・年齢・価値観・ライフスタイルなどに最適化したマーケティングを実施できます。
実際の活用事例では、消費者の購入データから属性を分析して販売活動に活かす取り組みがされています。大手ECサイトの楽天でも、サイトに訪れたユーザーの購買履歴や行動履歴を蓄積し、需要予測や価格の最適化、パーソナライズ広告の配信などに活かしています。
蓄積された購入データは実際の消費者の行動と結びついているため、マーケティングに関わる的確な意思決定をする際や、有効なマーケティング戦略の立案に役立つでしょう。また、新商品の開発や販売活動などにも活用できます。
医療情報
医療分野では、患者の疾患と治療のデータベースとしてビッグデータを活用することが一般的です。たとえば、病気の診断・判定に役立てられており、同じ症状のデータが集まるほど客観的な判断がしやすくなります。結果、病気の早期発見や早期治療につながる効果が期待できます。
診察や治療以外の場面では、診療報酬明細書（レセプト）の集計や電子カルテ、会計システムなどの電子機器、ツール全般にもビッグデータが活かされています。新薬開発においても医療のビッグデータは活かされており、開発スピードの向上や開発コストの削減、AI解析による研究の質を高める取り組みなどが行われています。
さらに、近年では「PHRヘルス」という、健康診断の結果と治療記録を一元管理できる仕組みも注目されています。自分の年齢や通う医療機関が変わっても、自分の体の記録を常に確認できるようになるというものです。こうした管理は、個人が自分の健康管理をしたり、適切な医療を受けたりする場合に役立ちます。
SNSの画像やテキスト
スマートフォンが普及し、SNSが一般的になった現代では、膨大な量のテキスト・画像・映像データを収集することが可能です。
SNSなどから収集できる膨大なデータには、消費者の本音が詰まっています。不満や要望の声を抽出することで、商品改善のヒントが得られるほか、顧客ニーズを掴んだり、商品の使用シーンを提案したりする場合にも活用できます。また、SNSなら他社の情報も得られるため、比較分析のために同条件で自社と他社の情報を集める使い方も可能です。
特に、SNSから得られるデータはリアルタイム性が高いため、商品発売初日の反応やプロモーションの効果を知りたい場合にも便利です。
SNSごとの特徴を挙げてみると、Twitterは投稿件数が多いため、消費者の生の声を集めやすいメリットがあります。140文字で投稿される消費者の日常から、商品やサービスに関する不満点や満足点などをうかがえます。
Instagramは、ハッシュタグを活用した画像投稿がメインの媒体です。Twitterと同じような分析はできませんが、ハッシュタグと画像の掛け合わせを分析することでデータが得られます。まとまった情報量が欲しい場合は、ブログやレビューサイトを参考にしてみるのもよいでしょう。
映像
防犯カメラもビッグデータを集める手段のひとつです。近年では、映像を記録しながら監視するだけでなく、手にとって戻された商品、かごに入ったのに戻された商品などの映像データを集めて、購入に至らなかった商品の分析にも利用されています。
数字からは消費者が取った生の行動をうかがえませんが、映像なら顧客が取ったリアルの行動から商品に関するデータを得られます。また、勘や経験といった個人の感覚に依存するものでなく、客観的な行動データから導き出した分析結果をマーケティングに活用できます。特に大型商業施設や複数の実店舗を経営している場合、映像の活用はデータ収集の手段として有効でしょう。
ビッグデータの分析手法の種類
ビッグデータの分析手法にはさまざまな種類があります。以下、主な分析手法について解説します。
クロス集計
分析手法の中ではポピュラーな部類であり、分析結果から属性ごとの傾向やニーズを調べることが可能です。アンケート調査や世論調査、仕入れ計画、販売予測など幅広い場面で使われており、設定する項目や属性を細分化することで、詳しい分析結果を得られます。トレンド把握や調査目的に合った情報を取得するのに便利です。
分析する際は、データを年齢・性別・地域などの属性ごとで分け、2～3種類の属性の相関関係を調べます。横軸に属性、縦軸に項目を設定し、得た結果をもとに必要なら属性・項目を細分化して、さらにデータを収集します。分析軸を2つ以上に増やす場合は多重クロス集計といい、性別や年代ごとの回答を地域別に集める場合などに活用されます。
シンプルで複雑な計算がないため、ビッグデータ分析に使われる手法の中では比較的扱いやすいでしょう。
ロジスティック回帰分析
質問の答えを「はい/いいえ」などの2値データで集計し、事象が発生する確率を予測する手法です。分析結果から出る答えは確率であり、事象が発生する場合は1、発生しない場合は0の数値になります。
ロジスティック回帰分析は、ビッグデータ中にある異なるデータ同士の関係性の比較・分析に適した方法です。発生した事象同士を比較して原因を分析し、結果が生じた要因を把握するのに使えます。
商品が売れる確率や顧客の購買行動の理由予測などに活用して、マーケティングの効果向上を図ったり、医療分野では病気の発症率を予測したりする際によく使われています。そのため、商品開発や研究をよく行う企業のデータ分析方法として適しています。
アソシエーション分析
顧客や購買データを対象に分析を行い、関連性を発見し、「○○だったなら△△になる」という予測をする分析手法です。ビッグデータから隠れた法則や関連性を発見するのに適しており、ネット通販やスーパー、小売などの商品分析でよく活用されます。
基本は機械学習を使ってデータからパターンや関連性を見つけるため、人間が見ても気づかない隠れた購買データの関連性を発見するのに便利です。たとえば、「Aの商品を買った顧客は、Bも同時に購入する傾向がある」といったデータ同士の関連を発見できます。発見した関連性は、陳列棚に配置する商品の組み合わせを検討したり、ECサイトなどで顧客におすすめする商品を考えたりする際に役立ちます。
クラスター分析
購買データやアンケートなどのデータを分類して、その集団の特徴を分析する手法です。属性を細分化して分析するクロス集計と似ていますが、性別や地域などの分類できる基準がはっきりしない場合は、専らクラスター分析が活用されます。マーケティングではターゲット分析やペルソナ分析、ブランドのポジショニング、顧客が持つ潜在ニーズの調査などでよく使われます。
クラスター分析の手法は、似ているかそうでないかの類似性に基づいて分類を行います。また、クラスター分析の中にも複数の種類がありますが、大まかに分けると階層的手法か非階層的手法のどちらかになります。分析の手順は、分類したグループごとに特徴を観察し、クロス集計などで分析を行い、傾向やパターンを発見します。
決定木分析
分類木と回帰木を組み合わせた樹形図でデータ分析する手法です。「もし～だったら」という仮説を立て、実際にはどうだったかというデータと照らし合わせるのを、最終的な結論や結果が得られるまで繰り返します。顧客データやアンケートをもとにクロス集計を繰り返す手法と説明されることもあります。
決定木分析を実行すると樹木図が作成されるため、予測・判別・分類が可能になります。購入してもらいやすい属性の予測や、自社商品を購入する見込みが高い属性の判別と分類、顧客満足度が高い層の絞り込みなどに役立ちます。
また、樹木図から複数の要因を明らかにすることで、強い根拠を持った判断がしやすくなります。こうした特徴から、原因からさまざまな要因を見出したい場合の分析手段として向いており、自社サービスの提供や商品開発をする企業でよく活用されています。
主成分分析
主成分分析は、多すぎる変数を似た変数にまとめることで、データを単純化してわかりやすくしようという手法です。基本的に、データに含まれる変数は多いほうが正確な分析結果を得やすいですが、多すぎると複雑化するため扱うこと自体が難しくなります。そこで、複数の似た変数を合成することで、データを理解しやすい形に要約するのが主成分分析です。
ビッグデータは、そのまま扱うと理解しにくいただのデータの集合ですが、主成分分析をすることでデータ全体をなるべく損なわない状態で、かつ理解しやすい形に変換できます。ただ、似た変数を主成分の変数に合成していくため、実は重要な情報なのに気づかず、そのまま捨ててしまう可能性もないとはいえません。本当にまとめてしまってもよいのか、一度立ち止まって考える場面も必要になるでしょう。
主成分分析は、顧客のセグメント分析や購買動機の分析、ブランディングなどによく使われます。分析を行う際は、目的を明確にしてから収集したデータの分析を実施します。たとえば、顧客満足度を調べたい場合、主成分分析を行うことで顧客は商品の何を評価しているのか、どこを重視しているのかについて大まかに把握することが可能です。そして、得たデータは今後の商品改善や開発に利用できます。
ビッグデータとAI
インターネットの普及と利用拡大、IoT化など時代の流れを受け、情報量が爆発的に増加した結果、ビッグデータという言葉が認識されるようになりました。その名の通り、ビッグデータとは膨大なデータ群であり、情報化社会であらゆるデータを取得できるようになった結果のものです。
膨大なデータ群を活用することで、ビジネスの生産性向上や商品開発、新しい価値の発見につながるなど、大きなメリットがあります。しかし、データ量が多すぎる関係上、目視や手作業で分類しながら分析していく従来のやり方で処理するのは困難です。情報量が多すぎるため、何が有益なデータなのか判断して切り取るだけでもかなりの労力がかかります。
そこで、ビッグデータを上手に活用していく方法として、AIのディープラーニングが利用されています。AIなら、企業に蓄積されたビッグデータを多面的・高精度に分析し、有益な情報を効率よく抽出することが可能です。また、もともとAIはデータ分析の実行にあたって大量の情報を必要とするため、ビッグデータ活用との相性にも優れます。
ビッグデータとAIの活用で身近な例を出すと、顧客に関するビッグデータをAIに分析させ、顧客に適したクーポンの配布を行い、顧客ロイヤルティの向上を狙うといった取り組みがあります。このように、マーケティング活動の最適化に利用できるのです。また流通・小売業においては、高精度な市場予測や製品の需要予測に活用されています。
ビッグデータを扱う際の注意点
ビッグデータを企業が取り扱う際は、いくつか注意点があります。以下のポイントを押さえ、適切に運用しましょう。
個人情報の取り扱い方
ビッグデータに含まれるデータの一つひとつを見ても、個人情報につながらないように見えるものがほとんどです。しかし、情報流出などの条件が重なり、複数のデータを照合できる状態になると、個人情報の特定につながる場合があります。そのまま個人情報漏洩のトラブルに発展すれば、企業の信用が失われる可能性があるため、セキュリティ対策やデータの保管方法などには十分気をつけましょう。
データの加工の仕方
ビッグデータ分析を行うときは、収集したデータを活用しやすい形式に変えておく必要があります。部署ごとに独自の形式でデータを保存している場合や、項目の統一がされてないことも多いからです。ビッグデータの活用を考えているなら、データの形式を統一するなどの整備を行っておきましょう。
また、データの中には不要なデータも混じっていることがあります。たとえば、重複データや表記ゆれ、欠損値、異常値、外れ値、扱う必要のないデータが混入している場合があるため、分析する前に除外する処理が必要です。これを行わずに分析してしまうと、正確な分析結果が得られない可能性があります。
まとめ
ビッグデータは、ビジネスに活用できる知見を発見するためのデータのことです。技術の発展に伴い収集できるデータが増えたことや、分析にAIが活用しやすくなったことなどから、近年注目を集めています。
ビッグデータを分析する際は、クロス集計などを含む多くの分析方法から目的に合ったものを選ぶことになります。とはいえ、人間が手作業で分析を行うのは非効率であるため、多くの場合はAIのディープラーニングを利用し、その分析結果を参考にしてマーケティング活動の最適化などに役立てられます。
AIなどを使いながらデータ活用を適切に行うことで、データに基づく正確な判断がしやすくなります。有効なマーケティングの実施にもつながるため、ビッグデータ活用の重要性は今後も高まっていくことでしょう。
