現代ではデータ分析はビジネス成功の大きな要素です。
実際データサイエンティストの求人は年々多くなっています。
データ分析するためには、何より信頼できる、つまり再現性のあるデータが必要不可欠です！
この記事では再現性のあるデータを取得するために、再現性のあるデータである１０のポイントを説明します。
１つでも同じような項目がある方は参考にしてください。
- 統計学を学びたい
- 統計をとるためのデータ基準を知りたい
- データ分析をするための基本を学びたい
- データサイエンティストに興味がある
ぼくは機械学習でさまざまな分析を行ってきました。
実際にデータを集めるときに注意しているポイントを紹介していきますね！
まずはどのようなデータが分析に使えるのか説明します。
情報源を見つけるアイデアが浮かぶ可能性があるので参考にしてください。
次は実際に再現性のあるデータを確認する１０のポイントを説明していきます。
最後にデータサイエンティストになるための方法について紹介します。
分析に使えるデータとは
統計をとるには信頼できるデータが不可欠です。
信頼できない、つまり不正確な要素が多いデータで統計をとっても意味のある結果はうまれません。
たとえば文部科学省が提供している「いじめ」の統計があります。
もちろん、しっかりと調査されたデータなのでしょうが、実際に起こっている「いじめ」を全て把握できているわけではないでしょう。
このように不正確な要素があるデータは分析に使えないことが多いです。
信頼できるデータとは「科学的で客観的なデータ」です！
もう少し具体的にいうと「特定の学問、考え方に基づいている」「データの割り出し方がわかっている」データになります。
このような信頼できるデータは「再現性のある」データと呼ばれています。
データの再現性を確認する１０のポイント
ズバリ、データの再現性を確認するポイントは以下の「６W４H」です！
- Who(誰が)
- Whom(誰を)
- Why(なぜ)
- When(いつ)
- Where(どこ)
- What(何を)
- How:調査対象の選び方
- How:調査方法
- How:質問方法
- How:調査対象数
よく使用される「５W１H」に「Whom」と「３つのHow」が追加されています。
それぞれ紹介したあとに、特に重要となることが多いポイントを説明します。
Who(誰が)
「誰がデータを作成したのか」「誰がデータを集めたのか」が重要になってきます。
信頼性のある個人・組織が作成、収集してものであれば信頼できるデータであるといえるでしょう。
一方、詐欺師っぽい人から言われたことは信頼できないですよね、、、
Whom(誰を)
「だれを調査したのか」「データの対象となるものは誰なのか」が再現性の確認には大切です。
このポイントを確認しなければ、データの対象がブレることがあります。
対象を「男性」とするこのと「女性」とするのでは集まるデータが大きく変わってくるでしょう。
データの対象を明確して分析するようにしましょう！
Why(なぜ)
「データを作った目的」を調査しておきましょう。
ケースによっては目的が異なっており、分析に合っていないデータである可能性があります。
データがあったとしても、目的を調査するうちに、データの実態が見えてくることが多いです。
分析しようとするデータが作成された目的を調査しておきましょう！
When(いつ)
「いつのデータを集めたのか」がキーになってくるケースがあります。
古い情報も分析対象となるのか、当時の状況が影響していないか、などを考える必要があります。
データ作成日は集めやすいことが多いので、さっと確認しておきましょう！
Where(どこ)
「どこのデータを集めたのか」も確認ポイントになります。
都会で集めたデータと田舎で集めたデータでは結果は変わってくるでしょう。
分析内容と関係ある場所のデータなのか、偏っていないのかを確認するようにしてください。
What(何を)
これは強いて考えなくても、考えられていることが多いです。
「何のデータなのか」というポイントになります。
分析と明らかに関係のデータを集めても意味がありません。
なんのデータを集めているのか、集めたら良いのかを確認しておきましょう！
How:調査対象の選び方
「データを集める情報源をどのように選んだのか」が再現性の確認ポイントになります。
わかりやすく説明すると、年金についてアンケートで調査するには「１０代」よりも気にし始める「４０〜６０代」のほうが有効なデータを集められるでしょう。
分析内容とあまり関係ない情報源から集めるよりも、分析内容と関係ある情報源から集めるように意識しましょう！
How:調査方法
「どのような方法でデータを集めたのか」によって分析の精度が変わってきます。
たとえば、このような方法があります。
- アンケート
- 投票
- ネット上の情報
データを集めた方法についても明確にしておきましょう！
How:質問方法
「どうデータを集めたのか」も重要なポイントとなります。
たとえば、アンケートでこのように質問内容を変えるだけで結果は変わってきます。
- １％の確率で１００万円損するが、９９％の確率で１万円得するクジ
- ９９％の確率で１万円得するが、１％の確率で１００万円損するクジ
質問方法が変わるだけで、結果を操作することができます。
どう集めたのかにも着目するようにしましょう！
How:調査対象数
「どのくらいのデータを集めたのか」がポイントになるのは言うまでもないでしょう。
必要量に満たない情報で分析しても価値が低いものとなります。
重要となることが多いポイント
これらのポイントの中でこれらは特に重要です。
- Whom(誰を)
- What(何を)
- How:調査対象の選び方
- How:質問方法
- How:調査対象数
まず、どのようなデータかを理解する必要があります。
データの定義(用語など)を明確にしていないと、想像していない分析を進めることになりかねません。
また、偏ったデータになっていないかも重要です。
誰を調査したのか、どう質問したのかによってデータが大きく変わってきます。
分析できる程度のデータの幅があるのか、注意するようにしてください。
もっとも意識が必要なのはデータの正確性です。
信頼できる元からのデータなのか、統計をとれる程度のデータ量が集まったのか、意識してデータを見るようにしてください。
データサイエンティストになる方法
データサイエンティストとなると多くの情報が必要になります。
個人で多くのデータを集めれる状況にあれば良いのですが、ムズカシイでしょう。
実際にデータサイエンティストになるには『データミックス』を利用することをオススメします！
未経験であっても数ヶ月でエントリー職以上で仕事に就けるレベルまでスキルを引き上げることを目標としたスクールです。
また以下のような特徴があります。
- データサイエンティストとしての経験豊富な講師が実務視点でレクチャー
- 少人数制で受講生一人一人の強みや弱みを把握したうえでの指導
- 多くのケーススタディなどを取り扱い実践的なスタイルで実務に活きる講義内容
- 様々な業界・職種の受講生と授業だけでなく、勉強会やイベントで交流ができる
- 卒業後も継続したフォローアップ体制。OG・OBネットワーク。
- 転職希望者への転職支援。
無料相談会もあるので、興味のある方は参加してみてください。
最後に
統計をとるためには「再現性のある」データを集める必要があります。
集めるためには再現性を確認する１０のポイント(6W4H)を押さえておきましょう！
１つでもふわっとしているものがあると、統計をとれない可能性が高いです。
まず集める前に紹介したポイントを明確にしておきましょう。
統計は人間のミスが大きく影響します。。。
データ集めからフォーマットを用意して正確に分析できるようにしてください。
最後まで読んでくださり、ありがとうございました！！！
コメント