製造現場の「汚いデータ」が分析を止める理由と、整え方の基本

「データはあるのに、分析になると手が止まる」——製造業の現場でよく聞く悩みです。多くの場合、原因はデータの中身そのものではなく、形式が揃っていないことにあります。この記事では、分析を止める典型的な「汚さ」と、それを再現性をもって整える基本を整理します。

分析を止める「汚さ」の典型

• 表記ゆれ：同じ設備が「LINE-A」「line-a」「ＬＩＮＥ-Ａ」と混在する。
• 単位の混在：mm と cm、秒と分が同じ列に混ざる。
• 欠損・空白：未記入や全角スペースが値として紛れ込む。
• 重複行：転記や結合の過程で同じレコードが二重に入る。
• 型の不統一：数値であるべき列が “50.0mm” のような文字列になっている。

これらは個々には些細でも、積み重なると集計やグラフ化のたびにエラーや誤った結果を生み、分析の信頼性を損ないます。

整え方の基本ステップ

1. 名寄せによる表記の統一：設備・ロット・項目名を正規の表記に揃える。
2. 単位・型の統一：単位を1つに決め、数値列は数値型に変換する。
3. 欠損・重複の処理：欠損は除外か補完かの方針を決め、重複は一意化する。
4. 検証：件数・範囲・分布を整形前後で比較し、想定外の変化が無いか確認する。
5. コード化：手作業ではなく処理をコードにし、同じ手順を再実行できるようにする。

「再現性」が最も大切

一度きれいにしても、翌月のデータでまた同じ手作業を繰り返すのでは続きません。整形をコード化しておけば、新しいデータにも同じ品質で適用でき、属人化も防げます。私たちは整形済みデータだけでなく、再実行できる処理コードも納品物に含めています。

実際の整形前→整形後の例や可視化は、合成データを使ったデモページでご覧いただけます。