Solution

dbEのソリューションを紹介しています。

dbEサービスメニュー

データ活用のためのデータマネジメント・データプレパレーション

データ活用トータルサポート

株式会社ディビイでは、以下の3つのサービスを提供しています。

データプレパレーションサービス

データプレパレーションサービス

集計、分析作業の80%が、データ集約、クレンジングやデータ加工といった集計、分析準備(データプレパレーション)作業に費やされると言われています。その作業をより効率的に行うための、ツール選定などデータ操作環境や運用フローなどのコンサルティングやソリューション提案を行います。

分析サービス

分析作業は、その目的に応じて、最適な方法を取ることが必要です。 確率・統計分析、機械学習、SOM(Self Organizing Map:自己組織化)、ディープラーニング(DNN:Neural Network)、自然言語解析、複雑ネットワークなど様々な手法や理論を実践してきた弊社担当者が貴社データの分析を行います。

エンジニアリングサービス

データプレパレーション、分析を貴社内で実施するためのデータ活用環境構築は、もちろんのこと、データ活用のためのエンジニアリングをを行います。 貴社状況をヒアリングし、最適なツール選定から、システム構築など、社内で実施する環境を準備します。

データ活用のためのデータマネジメント・データプレパレーション

企業内外に所有、存在するデータを活用するためには、その目的を明確化した上で、データ操作、マネジメントを行います。
活用するための集計、分析には、クリーンなデータであることが前提で、クリーンを作成するためには、「データ集約」「クレンジング」「データ加工」を行います。 この作業は、 それぞれの段階で、専門的な知識、技術が必要不可欠です。 また、詳細分析を行う前には、「基本集計・統計」でデータ全体を俯瞰し、当たりをつける必要があり、ここまでを「データプレパレーション」といい、データ操作作業時間の約80%を占めると言われています。このデータ操作には、対象となるデータに応じたデータ活用環境構築も必要となります。
また、データの一元管理、情報公開範囲の設定とデータマネジメントも考慮も必要です。

データ活用フロー

データ活用フロー

そのような状況の中、私たちは「データマネジメント・データプレパレーションのプロフェッショナル」として、環境構築や運用についての総合アドバイザリ・コンサルティングを手掛けています。

データプレパレーションの作業内容

データ集約

活用対象となるデータは、社内システム内のデータベースやwebサービス、csvやエクセルなど様々な形式で保存されています。これらのデータを活用するために、1箇所に集約します。

クレンジング

集計、分析を行うためには、データ型が合致し、欠損値のない、異常値がない粒度合っているなどクリーンなデータを対象とする必要があります。そのために、データ型合わせ、Null値補完、異常値補正などを行います。

データ加工

集計、分析を行うためのフィルタリング、列同士の計算や、ラベル付けなどを行います。

基本集計・統計

弊社の考えるデータプレパレーションは、データ概要を把握するまでと考えています。合計や平均値などの統計、デシル分析やクラスタリング分析などデータ概要を把握できる集計作業・統計を行います。

データプレパレーションの作業内容

データプレパレーションサービス

データプレパレーション コンサルティング

対象データ、システム、データ活用目的、運用方法、担当者のスキル、予算などにより、最適な、ツール、運用に関するコンサルティングを行います。

データプレパレーション ソリューション

貴社状況に応じたより効率的なデータ活用のシステム、運用に関してご提案します。

データプレパレーション エンジニアリング

貴社担当者がより効率的な、データプレパレーションを行えるような環境を構築します。

データプレパレーション アウトソーシング

貴社のデータを弊社が活用できる形に調整し、納品します。貴社では、分析ツールに提出データを投入するだけで、分析が実行可能となります。

データプレパレーション ソリューション事例

分析を行うため、データ抽出は、システム担当者、分析作業は、データアナリストが行っている。
分析を行うため、データ抽出は、システム担当者、分析作業は、データアナリストが行っている。
環境構築ができれば、担当者自身で分析結果を簡単に作成することができ、施策立案の迅速化につながった。
環境構築ができれば、担当者自身で分析結果を簡単に作成することができ、施策立案の迅速化につながった。

分析サービス

貴社の課題に応じて、様々な手法や理論を実践してきた弊社データサイエンティストがが貴社データの分析を以下の手法などを組み合わせて行います。

統計的手法

  • デシル分析
  • アソシエーション分析
  • バスケット分析
  • 相関分析
  • 間隔分析
  • 線形回帰分析
  • 重回帰分析
  • ロジスティック回帰分析
  • 因果関係推定
  • 共分散構造分析
  • 因子分析
  • 主成分分析
  • クラスタリング分析
  • 決定木分析
  • 各種検定 など
言語解析

  • 形態素解析
  • TF-IDF
  • ベクトル空間モデル
  • 潜在意味解析
  • Word2Vec
  • Doc2Vec など
その他

  • 機械学習
  • 深層学習
  • 自然言語解析
  • SOM(Self Organizing Map:自己組織化)
  • トピックモデル
  • サポートベクターマシン
  • 複雑ネットワーク分析

分析サービス例

目的:ゴール選定
お客様の価値を知って、価値の低いお客様の価値を高く(または諦める)、高いお客様を維持して(またはさらに高める)売上・利益を上げたい。

分析サービス事例

エンジニアリングサービス

エンジニアリングサービス実績:ロジカルサーチエンジン

文字単位での検索では、結果に事実と意見が混在し、事実に基づく様々な意見を確認したり、その事実の類似事実を検索するのに検索テクニックや、確認時間がかかっていました。
テストとして、新聞記事を「意見」「事実」に切り分けるロジックや、文章間の類似度を計算し、検索結果として表示するロジックなどを組み込んだロジカルサーチシステムを構築しました。
結果、ロジカルサーチは、新聞記事の理解度を高めると同時に様々な事実、意見に短時間にリーチできることが確認されました。

エンジニアリングサービス

エンジニアリングサービス実績:大量データ処理RDBMS開発

マーケティングデータで使用されるデータは、一般によく使用されるRDBMS(MSSQL、MySQL)では、サイズが大きく扱えず、Hadoopなどのビッグデータ処理システムを使用する場合には、オーバースペックでコストがかるという課題があります。そこで、マーケティングデータの運用に最適な「最大行数 10億行、最大列数10,000行程度」のデータを簡単に操作できるものを開発しました。
現状、プロトタイプの仕様では、列数:1万列、行数:100万行のデータを読み込み、DBに格納する時間は、50分でしたが、今後、高速化をはかっていきます。

大量データ処理RDBMS開発

サービス例

データ活用関連

データ活用アドバイザリ

お客様のビジネスに役立てるために、所有しているデータの活用方法のアドバイスやサポートを行います。眠っている資産の有効活用をアシストします。

データ分析サポート及び分析アルゴリズム選定・開発サポート

効果的なデータ活用のために、最適な分析方法の選定や、必要に応じて高度なアルゴリズムを組み合わせ、お客様のデータ活用効果を最大化するための解析サポートを行います。  

データ活用環境構築・運用関連

データ活用環境最適化アドバイザリ

具体的なデータ活用方針が定まっていれば、最大の効果を発揮させるための環境の最適化をサポートします。 すでにあるデータ操作環境も、運用を含めて見直すことで大きなコストダウンやパフォーマンスアップが見込める場合があります。 お客様に、最適な環境のアドバイスを行います。

データ解析及びデータプレパレーション環境選定・導入サポート

データ活用に必要な環境の選定、構築のサポートを行います。無駄なコストをかけず、最適な環境の構築を行います。

株式会社dbE
partner Microsoft