在掌握了Python數據分析的基礎環境與數據結構（上篇）后，我們進入知識體系的核心階段——數據分析與處理。本篇將作為您深入數據分析領域的“索引”與“地圖”，系統梳理從數據清洗到初步分析的關鍵知識與技能模塊。

一、數據清洗與預處理：分析的基石

數據分析的絕大部分價值，源于對“臟數據”的凈化與規整。此階段是保證后續分析結果可靠性的關鍵。

1. 處理缺失值：識別（isna(), isnull()）、決策（刪除dropna或填充fillna）與高級填充技巧（均值、中位數、前后向填充或模型預測）。
2. 處理異常值：通過描述性統計（describe()）、可視化（箱線圖）識別，并運用分位數法、標準差法（3σ原則）進行檢測與處理（蓋帽、分箱或刪除）。
3. 數據轉換：

• 類型轉換：astype()函數確保數據類型（如日期、分類）正確。

• 重復值處理：duplicated()檢測，drop_duplicates()刪除。

• 字符串處理：利用.str訪問器進行大小寫轉換、分割、替換與正則表達式匹配。

二、數據整合與重塑：連接多維信息

現實數據常分散于多個來源，整合是構建分析視圖的必要步驟。

1. 數據合并：

• pd.concat：沿軸（行或列）簡單堆疊數據。

• pd.merge / df.join：基于一個或多個鍵，像SQL連接一樣橫向合并數據集，需掌握內連接、左連接、右連接和外連接的區別與應用場景。

1. 數據重塑：

• 透視表：pivot_table是強大的多維分組聚合工具，可快速生成交叉表，進行多維度分析。

• 融合與旋轉：了解melt（列轉行）與pivot（行轉列）在數據形態轉換中的作用。

三、數據轉換與特征工程：為模型準備食材

此步驟旨在從原始數據中提煉出對分析目標更有意義的信息。

1. 應用函數：使用apply()、map()或向量化操作對序列或 DataFrame 進行自定義轉換。
2. 分組聚合：GroupBy操作是核心中的核心。理解“拆分-應用-合并”范式，熟練使用groupby()結合聚合函數（sum, mean, count, agg）、轉換（transform）與過濾（filter）。
3. 創建新特征：

• 分箱/離散化：pd.cut / pd.qcut 將連續數據轉化為分類數據。

• 啞變量/獨熱編碼：pd.get_dummies 將分類變量轉換為機器學習模型可理解的數值格式。

• 日期時間特征：從日期時間列中提取年、月、日、星期、小時等。

四、描述性統計與初步探索：發現數據的故事

在深入建模前，必須用統計眼光審視數據全貌。

1. 集中趨勢與離散程度：計算均值、中位數、眾數、標準差、方差、分位數等（mean, median, mode, std, var, quantile）。
2. 數據分布與關系：

• 使用corr()計算變量間的相關系數（皮爾遜、斯皮爾曼）。

• 通過協方差矩陣考察變量協同變化趨勢。

1. 探索性數據分析（EDA）：

• 可視化輔助：雖然深度可視化是下篇內容，但此處應結合直方圖（看分布）、散點圖（看關系）、箱線圖（看異常與分布）進行初步探索。

• 摘要報告：可使用pandas_profiling（現為ydata-profiling）庫一鍵生成詳盡的數據概況報告。

五、核心工具與函數索引

• Pandas核心：DataFrame / Series 對象方法、索引與切片（loc, iloc）、查詢（query）。
• 處理類：fillna, dropna, drop_duplicates, replace, astype。
• 整合類：concat, merge, join, pivot_table, melt。
• 轉換聚合類：groupby, agg, apply, transform, map, pd.cut。
• 統計類：describe, mean, sum, count, std, corr, cov。

從處理到洞察

本篇構建的“數據分析與處理”知識模塊，是連接原始數據與高級分析（機器學習、深度可視化、統計推斷）的橋梁。熟練運用這些技術，意味著您能將雜亂無章的數據轉化為整潔、有信息量的數據集，為揭示數據背后的模式、趨勢與洞見打下堅實基礎。請務必在實戰項目中反復練習，尤其是GroupBy操作與數據清洗流程。在下一篇（下篇）中，我們將聚焦于高級可視化、統計分析與初步的機器學習模型應用，完成數據分析入門知識圖譜的最后拼圖。