Kaggle – Disaster Tweets

79〜80%精度のNLPパイプライン構築

概要

Kaggleの「Real or Not? NLP with Disaster Tweets」コンペティションに参加し、ツイートが災害に関するものかどうかを分類するNLPパイプラインを構築。本番で使える前処理手法と、再現性の高いモデル構築プロセスを重視。

工夫ポイント

1. 本番で使える前処理

実務で通用する前処理手法を実装

  • URL、メンション、ハッシュタグの適切な処理
  • エラーハンドリングとロバスト性の確保
  • 再現性の高い前処理パイプライン
  • 処理時間の最適化

2. 特徴量重要度の分析

モデルの解釈可能性を重視

  • TF-IDF特徴量の重要度を可視化
  • 災害関連キーワードの抽出
  • 誤分類ケースの分析
  • 特徴量エンジニアリングの改善点の特定

3. パラメータ比較と実験管理

体系的な実験管理

  • ハイパーパラメータの体系的な比較
  • スコアの遷移を記録・可視化
  • 実験結果の再現性確保
  • Notebookによる透明性の高い分析

4. 学びのプロセスの可視化

企業が重視する「学びのプロセス」を明確化

  • 試行錯誤の過程をNotebookに記録
  • 失敗から学んだ改善点の文書化
  • 再現性の高いコード構造
  • コメントによる思考プロセスの可視化

成果

定量的スコア成果

  • CVおよびKaggle Leaderboardにて 79〜80% の評価精度（Accuracy）を達成
  • TF-IDF + ロジスティック回帰によるシンプルかつ軽量・高速な機械学習モデルの実現

運用・再現性成果

  • 実験管理の体系化により、特徴量追加やハイパーパラメータ調整の影響を定量追跡する環境を設計
  • 本番運用を見据えたエラーハンドリングを含む再現可能なNLPパイプラインの構築

学び

  1. NLP前処理の要諦

    • ノイズテキスト（URL・メンション等）の処理戦略がモデル分類精度に与える影響の大きさの理解
    • n-gram拡張や語彙制御（min_df/max_df）によるコンテキスト保持能力向上のノウハウ獲得

  2. モデル解釈性と実験プロセス

    • TF-IDF特徴量の重み可視化を通じたブラックボックス化防止と誤分類事例のドメイン分析手法の習得
    • 試行錯誤と結果の可視化を徹底した「説明責任を果たせる機械学習開発」の実践

スコアの遷移

初期モデル

ベースライン: 65%

改善1

前処理改善: 72%

基本的なTF-IDF + ロジスティック回帰

テキスト正規化とストップワード処理の最適化

  • URL削除
  • メンション(@user)削除
  • 記号類の正規化
  • 余分なスペース除去
改善2

特徴量エンジニアリング: 76%

n-gramの追加と特徴量選択

  • n-gram を (1,2) → (1,3) に拡張（文章の文脈をより保持）
  • max_features=20000 に増加（有効語彙の拡張）
  • min_df=2, max_df=0.9 による頻度ベースの語彙制御
改善3

ハイパーパラメータチューニング: 79-80%

  • C=3（正則化弱め）
  • solver="liblinear"
  • penalty="l2"
  • max_iter=500