小売店の現場では、「防犯カメラは万引き犯の顔は覚えるが、常連客が何も買わずに帰った理由は教えてくれない」という課題がしばしば聞かれます。
これは、AI技術の応用において重要な視点を与えてくれます。技術を単なる「監視」ではなく、顧客への「共感」や「理解」に使えるのではないかというアプローチです。
現在、店舗のAIカメラは「防犯」や「人数カウント」での利用が主流ですが、最新のAIモデルは顧客の表情から「喜び（Joy）」や「困惑（Confusion）」などの感情を数値化できます。
今回は、この「無言の顧客の声」とも言える感情データをPythonで分析し、購買行動（POSデータ）と紐付けて店舗の課題を可視化する手法を解説します。
「まず動くものを作る」というプロトタイプ思考で、データを通じて顧客心理に寄り添い、ビジネスの最短距離を描く実践的なアプローチを一緒に見ていきましょう。皆さんの現場では、どのような「無言の声」が眠っているでしょうか？
1. イントロダクション：AIカメラが捉える「無言の顧客の声」
なぜ「感情」と「購買」の相関を見る必要があるのか
従来のPOSデータ分析は強力ですが、「結果しか分からない」という弱点があります。何が売れたかは分かっても、「なぜ買わなかったのか」「どの棚の前で迷ったのか」というプロセスはブラックボックスでした。
AIカメラによる感情解析は、このプロセスを可視化します。
例えば、新商品の前で多くの顧客が足を止め、滞在時間が長いものの、感情スコアの「Confusion（困惑）」が高く検出されたとします。POSデータで売上が低ければ、原因は「商品が魅力的でない」のではなく「使い方が分からない」「価格表示が見つけにくい」ことかもしれません。
このように、感情データ（プロセス）と購買データ（結果）を掛け合わせることで、経営者視点でもエンジニア視点でも納得のいく具体的な改善アクションが見えてきます。
本チュートリアルのゴール：データから「迷い」を検出する
本記事では、以下のステップで分析を進めます。
- データ準備: AIカメラのログとPOSデータを模したダミーデータを生成・定義する。
- 前処理: 粒度の異なる時系列データを顧客単位で統合する。
- 相関分析: 感情スコアと購買率（CVR）の関係を可視化する。
- クラスタリング: 機械学習を用いて「迷って買わなかった客」を特定する。
最終的に、手元のデータで同様の分析ができる状態を目指します。仮説を即座に形にして検証する感覚を掴んでいただければと思います。
使用するツールとライブラリ
分析にはPythonとデータサイエンスの標準ライブラリを使用します。以下の環境を前提とします。
- Python 3.8+
- Pandas: データ操作用
- NumPy: 数値計算用
- Seaborn / Matplotlib: データ可視化用
- Scikit-learn: 機械学習（クラスタリング）用
理論だけでなく「実際にどう動くか」を重視し、実際にコードを書きながら進めましょう。
2. データ準備：AIカメラのログデータ構造を理解する
分析対象のデータを準備します。実務の現場ではAIカメラベンダーのAPIやCSVを利用しますが、ここでは再現性確保のため、構造を模したダミーデータをPythonで生成します。
JSON形式のカメラログデータの読み込み
AIカメラのデータは時系列ログとして記録されます。1人の顧客に対し、カメラのフレームレート（例: 1秒間に数回〜数秒に1回）ごとにレコードが生成されます。
以下のデータ構造を想定します。
timestamp: 検知時刻customer_id: トラッキングID（入退店まで同一人物を追跡）location: 店内エリア（例: 棚A, レジ前, 入口）emotion_scores: 感情確率（Joy, Surprise, Confusion, Neutralなど）
サンプルデータセットの生成コード
分析用データセットを作成します。以下のコードでcamera_df（カメラデータ）とpos_df（購買データ）を生成してください。
import pandas as pd
import numpy as np
import random
from datetime import datetime, timedelta
# 再現性確保のためのシード設定
np.random.seed(42)
random.seed(42)
# 設定
n_customers = 200 # 顧客数
start_time = datetime(2023, 10, 1, 10, 0, 0)
# 1. AIカメラデータの生成
camera_data = []
for i in range(n_customers):
cust_id = f'CUST_{i:04d}'
# 滞在時間（分）: 3分〜20分のランダム
duration = random.randint(3, 20)
# 入店時刻
entry_time = start_time + timedelta(minutes=random.randint(0, 480))
# 1分ごとのログを生成
for t in range(duration):
current_time = entry_time + timedelta(minutes=t)
# 感情スコアのシミュレーション（ランダムだが傾向を持たせる）
# 基本はNeutralが高い
joy = np.random.beta(2, 8)
confusion = np.random.beta(1.5, 8.5)
surprise = np.random.beta(1, 9)
neutral = 1.0 - (joy + confusion + surprise)
if neutral < 0: neutral = 0
# エリア（ランダム）
location = random.choice(['Shelf_A', 'Shelf_B', 'Shelf_C', 'Promo_Area'])
camera_data.append({
'timestamp': current_time,
'customer_id': cust_id,
'location': location,
'score_joy': round(joy, 3),
'score_confusion': round(confusion, 3),
'score_surprise': round(surprise, 3),
'score_neutral': round(neutral, 3)
})
camera_df = pd.DataFrame(camera_data)
# 2. POSデータ（購買履歴）の生成
# 購買率(CVR)を約30%と仮定
pos_data = []
for i in range(n_customers):
cust_id = f'CUST_{i:04d}'
is_buyer = random.random() < 0.3
if is_buyer:
# 購入金額
amount = random.randint(1000, 15000)
pos_data.append({
'customer_id': cust_id,
'is_buyer': 1,
'total_amount': amount
})
else:
pos_data.append({
'customer_id': cust_id,
'is_buyer': 0,
'total_amount': 0
})
pos_df = pd.DataFrame(pos_data)
print("Camera Data Head:")
print(camera_df.head())
print("\nPOS Data Head:")
print(pos_df.head())
これで分析用データが揃いました。camera_dfは時系列ログデータ、pos_dfは顧客ごとの結果データです。
POSデータとの構造比較
ここで重要なのはデータの粒度の違いです。
- カメラデータ: 「誰が」「いつ」「どこで」「どんな顔をしたか」という瞬間ごとの連続値。
- POSデータ: 「誰が」「最終的に」「いくら買ったか」という1回の確定値。
これらを結合するには、カメラデータを「顧客単位」に要約（集約）する必要があります。次のセクションで具体的なテクニックを解説します。皆さんは、この粒度の違いをどう埋めるか、アイデアは浮かびましたか？
3. データ前処理：異なる時系列データの紐付けテクニック
データサイエンスにおいて工数の8割は前処理と言われます。「センサーデータ」と「トランザクションデータ」の結合は、分析精度を左右する重要な工程です。地味な作業ですが、ここがビジネス価値を生み出す源泉になります。
滞在時間ごとの感情推移を集約する
顧客の感情は店内で刻々と変化します。入店時はNeutralでも、商品を見てJoy、価格を見てConfusionを感じるかもしれません。
分析のため、以下の指標を顧客ごとに算出します。
- 平均感情スコア: 店舗滞在中の全体的な感情傾向。
- 最大感情スコア: 一瞬でも強い感情（強い興味や困惑）を示したか。
- 感情の変動係数（分散）: 感情が豊かに動いたか、無表情だったか。
- 滞在時間: データポイントの数から推測。
# 顧客ごとの集計処理
customer_features = camera_df.groupby('customer_id').agg(
# 各感情の平均値
avg_joy=('score_joy', 'mean'),
avg_confusion=('score_confusion', 'mean'),
avg_surprise=('score_surprise', 'mean'),
# 各感情の最大値
max_joy=('score_joy', 'max'),
max_confusion=('score_confusion', 'max'),
# 滞在時間（ログ数 = 分数と仮定）
stay_duration=('timestamp', 'count')
).reset_index()
print(customer_features.head())
時系列ログデータが「顧客ごとの特徴量」に変換され、POSデータと結合する準備が整いました。
顧客IDベースでのPOSデータとのマージ（Merge）
実務の現場でカメラのトラッキングIDとPOSのレシートIDを紐付けるのは困難な場合があります。一般的には「退店時刻」と「会計時刻」の近接性でマッチングしますが、今回はシミュレーションのため共通のcustomer_idをキーに結合します。
# 特徴量データとPOSデータを結合
analysis_df = pd.merge(customer_features, pos_df, on='customer_id', how='left')
# 欠損値確認（実データでは必須ステップ）
print(analysis_df.isnull().sum())
# データの確認
print(analysis_df.head())
「購入者」と「非購入者」のフラグ立て
結合後のanalysis_dfには、顧客の店内での振る舞い（感情・滞在時間）と最終結果（購買有無・金額）が1行にまとまっています。これにより「買った人」と「買わなかった人」の行動比較が可能になります。
ここで重要なのはノイズ処理です。滞在時間が極端に短い（1分未満）データは通り抜けや誤検知の可能性があるため、除外などのフィルタリングを検討すべきです（今回は3分以上で生成しているため割愛します）。
4. 実践分析1：感情スコアと購買率（CVR）の相関を視る
データが整ったので分析に入ります。全体像を把握するため、各感情スコアと購買行動の相関を可視化します。まずは動かして、データが何を語りかけてくるかを見てみましょう。
基本統計量の確認とヒートマップによる相関可視化
Seabornライブラリで相関行列のヒートマップを描画します。変数間の関係性を一目で把握するのに最適です。
import seaborn as sns
import matplotlib.pyplot as plt
# 相関分析に使用するカラムを選択
cols_to_analyze = [
'is_buyer', 'total_amount', 'stay_duration',
'avg_joy', 'avg_confusion', 'avg_surprise',
'max_joy', 'max_confusion'
]
# 相関行列の計算
corr_matrix = analysis_df[cols_to_analyze].corr()
# ヒートマップの描画
plt.figure(figsize=(10, 8))
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm', vmin=-1, vmax=1)
plt.title('Correlation Matrix: Emotions vs Purchase Behavior')
plt.show()
このヒートマップから、以下のインサイトが得られる可能性があります（データはランダム生成ですが、一般的な傾向として解説します）。
stay_durationとis_buyerの相関: 通常、滞在時間が長いほど購買率は上がりますが、長すぎる場合は「迷い」の可能性があります。avg_joyとis_buyer: 「喜び」が高いと購買に繋がりやすいと思われがちですが、真剣に商品を選ぶ時は真顔（Neutral）や、スペック比較で眉をひそめる（Confusionの誤検知）場合があるため単純ではありません。
「喜び（Joy）」は本当に購買に直結するのか？
多くのマーケターは「笑顔＝購買」を期待しますが、高級家電や金融商品などの高関与商材では、購買直前の表情は真剣そのものである可能性があります。
逆にエンターテインメント施設や雑貨店などの低関与・衝動買い商材では、Joyスコアと購買の相関が高くなる傾向があります。
店舗が扱う商材の特性（「比較検討型」か「直感型」か）を考慮して解釈することが重要です。技術の本質を見極め、ビジネスの文脈に落とし込む視点がここでも活きてきます。
「困惑（Confusion）」が高いエリアの特定
次に購買に至らなかったケースに着目します。「Confusion（困惑）」スコアと購買率（is_buyer）に負の相関（Confusionが高いほど買わない）が見られる場合、店舗にとって明確な改善のチャンスです。
# 購入者と非購入者のConfusionスコアの分布比較
plt.figure(figsize=(8, 5))
sns.boxplot(x='is_buyer', y='avg_confusion', data=analysis_df)
plt.title('Confusion Score Distribution by Purchase Status')
plt.xlabel('Is Buyer (0=No, 1=Yes)')
plt.ylabel('Average Confusion Score')
plt.show()
非購入者（0）のConfusionスコアが有意に高ければ、「商品が欲しくない」のではなく「分からなくて諦めた」可能性が高いと考えられます。
5. 実践分析2：「迷って買わなかった」パターンのクラスター分析
相関分析で全体傾向は掴めましたが、顧客は一様ではありません。「サッと見て帰った人」と「長時間迷って帰った人」は同じ「非購入者」でも意味合いが異なります。
ここでは機械学習のクラスタリング（K-means法）を用い、非購入者を分類して対策すべき「迷い客」を特定します。
非購入者の行動パターンを分類する（K-means法）
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler
# 非購入者のみを抽出
non_buyers = analysis_df[analysis_df['is_buyer'] == 0].copy()
# クラスタリングに使用する特徴量
features = ['stay_duration', 'avg_confusion', 'avg_joy', 'avg_surprise']
# データの正規化（重要：スケールを合わせるため）
scaler = StandardScaler()
X_scaled = scaler.fit_transform(non_buyers[features])
# K-meansクラスタリング（3つのグループに分けると仮定）
kmeans = KMeans(n_clusters=3, random_state=42)
non_buyers['cluster'] = kmeans.fit_predict(X_scaled)
# 各クラスターの特徴を確認
cluster_summary = non_buyers.groupby('cluster')[features].mean()
cluster_summary['count'] = non_buyers.groupby('cluster')['customer_id'].count()
print(cluster_summary)
「長時間滞在×ネガティブ感情」のクラスター抽出
出力されたcluster_summaryを見ると、典型的には以下のグループが現れます。
- Cluster A (通過客): 滞在時間が短く感情スコアも低い（Neutral中心）。→ 店舗に関心がない層。
- Cluster B (ウィンドウショッピング): 滞在時間は中程度、Joyがやや高いがConfusionは低い。→ 楽しんでいるが今は買う気がない層。
- Cluster C (迷い客・機会損失): 滞在時間が長く、Confusionが高い。→ 興味はあるが価格やスペック等で悩み、結局買わなかった層。
このCluster Cこそが、マーケティング施策で救える可能性のある「ホットロスト」です。
棚前での「視線の動き」と「感情変化」の複合分析
さらに深掘りするなら、Cluster Cの人々が「どのエリア（Location）」にいたかを分析します。元データ（camera_df）から、Cluster Cの顧客が最も長く滞在したエリアを特定します。
特定の棚（例: Shelf_B）でCluster Cの発生率が高ければ、その棚のVMD（陳列）やPOPに問題があるという仮説が立ちます。仮説が立てば、あとはスピーディーに検証するだけです。
6. アクションプラン：分析結果を店舗改善につなげる
データ分析はアクションに繋げてこそ意味があります。得られたインサイトを具体的な店舗改善アクションに変換しましょう。経営層も現場のスタッフも納得できる、論理的かつ実践的なアプローチが求められます。
データドリブンな棚割り・POP改善の提案
「Shelf_BでConfusionが高い迷い客が多い」と分かった場合、以下の改善案を立案できます。
- 情報過多の解消: 商品が詰め込まれすぎていないか？ → おすすめTOP3を目立たせるレイアウトに変更。
- 比較情報の提供: スペック比較で迷っている？ → 「機能比較表」のPOPを設置。
- 価格の明示: 価格が分かりにくい？ → プライスカードを大きくする。
これらは従来「店長の勘」で行われていましたが、データ（Confusionスコア）という根拠により、チーム全体で納得感を持って進められます。
接客タイミングの最適化（アラート連携の可能性）
より進んだ活用としてリアルタイム対応があります。
AIカメラとスタッフの端末を連携させ、「Shelf_BでConfusionスコアが閾値を超え2分以上滞在している顧客」を検知した瞬間に通知を飛ばす仕組みです。
これは「押し売り」ではなく、顧客が助けを求めているタイミングでの「おもてなし」であり、テクノロジーで人間らしい接客をサポートする好例です。AIエージェント的な発想を取り入れることで、業務システムはさらに進化します。
継続的なモニタリングダッシュボードの設計指針
一度の分析で終わらせず、施策の効果を検証するサイクル（PDCA）を回しましょう。
- KPI設定: 「迷い客クラスター（Cluster C）」の発生率を週次でモニタリング。
- A/Bテスト: 棚レイアウト変更の前後で、ConfusionスコアとCVRの変化を比較。
Pythonの分析コードをスクリプト化し、週次で自動実行してレポートを生成するパイプラインを構築すれば、継続的な改善活動が定着します。
まとめ：技術で顧客の心に寄り添う
本記事では、AIカメラのデータを「防犯」から「マーケティング」へ昇華させる実践的なPython分析手法を解説しました。
- データの統合: カメラの感情データ（プロセス）とPOSデータ（結果）を紐付ける。
- 相関の発見: 「喜び」や「困惑」が購買行動にどう影響するかを可視化する。
- 迷いの特定: クラスタリングで対策すべき「迷い客」をあぶり出す。
AIやデータ分析は無機質な印象を持たれがちですが、データの向こう側には「商品選びに迷うお客様の顔」があります。
技術を駆使して「迷い」に気づき手を差し伸べることこそ、最も人間味のあるDX（デジタルトランスフォーメーション）と言えるのではないでしょうか。皆さんもぜひ、手元のデータから「まず動くもの」を作り、新たなビジネス価値を探求してみてください。
コメント