株式会社renue
renueについて
renueは、AIで業務を実装する会社です
AIコンサルティングから図面AI・広告運用エージェント・コールセンターAIまで、実際に動いているサービスをご覧いただけます。renueが何をしている会社か、まずはサービス一覧からご確認ください。
pandasは2026年もデータ分析の中核ライブラリ：使い分けと学習のポイント
pandasはPythonの代表的なデータ分析ライブラリです。公式の沿革では2008年に開発を開始し、2009年にオープンソースとして公開されています。データサイエンティスト・データアナリスト・バックエンドエンジニアなどのデータ処理に利用でき、2026年の学習では他のツールとの組み合わせも押さえておきたいところです。
本稿で押さえる学習ポイントは3つです。①Polars（Rust製のDataFrameライブラリ）とpandasを用途に応じて使い分ける、②生成AIに pandas コードを生成させる場合も、「書く」力と「読んで検証する」力を身に付ける、③BigQuery／Snowflake／Databricks等のクラウドDWHと連携し、「SQLで前処理→pandasで仕上げ」という分担も検討する。この3つを理解すると、データ量や業務に合わせて処理方法を選び、生成されたコードを検証する際に役立ちます。
本稿ではrenueが複数プロジェクトでpandasを本番運用している実装知見から、pandasの基本構文、2026年のデータ処理エコシステム、Polarsとの使い分け、AI時代の学習法、実務で陥る10失敗パターン、90日学習プランを整理します。
pandasの基本：押さえるべき5つのデータ構造と10の操作
データ構造の基本
| 構造 | 用途 |
|---|---|
| Series | 1次元の値の並び。Excelの1列に相当 |
| DataFrame | 2次元の表。Excelのシート全体に相当。pandasの主役 |
| Index | 行のラベル。日付/連番/文字列など自由 |
| MultiIndex | 階層的な行ラベル。GROUP BYの結果などで頻出 |
| GroupBy | グループ化した中間オブジェクト。集計関数と組み合わせて使う |
実務の基本となる10操作
- 読み込み：pd.read_csv() / pd.read_excel() / pd.read_sql() / pd.read_parquet()
- 行/列の選択：df[columns] / df.loc[rows] / df.iloc[rows] / df.query()
- フィルタ：df[df['col'] > 100] / df[df['status'].isin(['A', 'B'])]
- 欠損値処理：df.isna() / df.fillna() / df.dropna()
- 型変換：df.astype() / pd.to_datetime() / pd.to_numeric()
- 集計：df.groupby('col').agg({'value': 'sum'}) / df.pivot_table()
- 結合：df.merge() / pd.concat() / df.join()
- ソート：df.sort_values(by='col', ascending=False)
- 変形：df.melt()（wide→long） / df.pivot()（long→wide）
- 書き出し：df.to_csv() / df.to_excel() / df.to_parquet() / df.to_sql()
この10操作を組み合わせることで、読み込み・加工・集計・出力といった代表的なデータ処理に取り組めます。文法を網羅するより、まずこの10操作を手に馴染ませる学習方法を提案します（pandasの主な機能）。
Polarsとpandasの使い分け：2026年の判断軸
本稿で扱う論点の一つは「pandasだけで良いのか、Polarsも覚えるべきか」です。結論から言えば、両方覚えて、ユースケースで使い分けることを提案します。Polarsは Rust で書かれたカラムナDataFrameライブラリで、マルチスレッド実行とLazy APIを利用できます。DataFrameによる即時実行とLazyFrameによる遅延実行を区別し、速度は同じデータ・処理内容・実行環境で比較してください。
| 項目 | pandas | Polars |
|---|---|---|
| 開発言語 | Python + C | Rust |
| 並列処理 | シングルスレッド（デフォルト） | マルチスレッド（デフォルト） |
| メモリ効率 | 型・読み込む列・分割処理で変わる（公式の省メモリ手法） | Lazy APIの最適化やストリーミングで削減を図れるが、差はデータと演算次第 |
| Lazy Evaluation | 通常は即時実行。applyは遅延クエリAPIではない | LazyFrameで遅延実行。DataFrameは即時実行 |
| 扱えるデータ規模 | 列数・型・演算とメモリ容量による。対応する処理は分割して実行可能 | 同様に構成次第。ストリーミング対応の処理ではメモリに収まらないデータも扱える |
| エコシステム | 最大（matplotlib/seaborn/scikit-learn全対応） | 成長中（主要ML/BIライブラリは対応開始） |
| ドキュメント／コミュニティ | 成熟・日本語情報豊富 | 英語中心・追いつき中 |
| 学習コスト | 文法が独特だが情報が豊富 | pandas経験者は1〜2週間を入門計画の目安にできるが、習熟期間は課題と学習時間による |
renueが推奨する使い分けは次の通りです。Excel側でもPower Queryによるデータ結合ができるため、行数だけでツールを決めず、運用要件も比較します。
- pandas が向くケース：数百万行以下などの小〜中規模のアドホック分析（行数だけで判断せず、必要メモリと処理時間を確認）、Jupyter/Streamlitでの探索的分析、既存のscikit-learn/matplotlibエコシステムに依存する処理、チームの学習コストを下げたい状況。
- Polars が向くケース：数千万〜数十億行を対象にするバッチ処理、定期実行されるデータパイプライン、メモリ制約がシビアな環境、パフォーマンスが直接コストに効くクラウド実行などで比較候補になります。ただし列数・型・演算とストリーミングへの対応により実行可能な規模は変わります。サーバーレス（AWS Lambda等）でも、実行時間・メモリの制約内で効果を実測して選びます。
2026年のデータ人材は「pandasをベースに、Polarsを選べる」状態を目指すのが現実解です。
pandasを使う2026年のデータ処理パイプライン
大規模データでは、すべてをpandasで処理する以外の構成も検討できます。SQL（BigQuery/Snowflake/Databricks）で前処理し、その結果を pandas または Polars に持ち込んで分析／可視化／モデリングする分担も選択肢です。本稿では次の3層のパイプラインを提案します。
- 第1層：DWH内でSQLによる前処理。BigQuery／Snowflake／Databricks等で、数千万〜数十億行の生データを集計・フィルタ・結合し、「人が触れる大きさ」に縮約する。ここをpandasで頑張らない。
- 第2層：縮約済みデータをpandas/Polarsで分析。数千〜数百万行レベルに絞られたデータをDataFrameに読み込み、分析・可視化・特徴量エンジニアリング・モデリングを行う。pandasが最も力を発揮する領域。
- 第3層：結果をDWHに書き戻し or BIに連携。分析結果・集計結果をDWHに書き戻して次の処理に繋げるか、BIツール（Looker Studio/Tableau/Power BI）やStreamlitアプリで可視化する。
「ローカルPCでpandasが落ちる」「メモリ不足」「処理が1時間かかる」といった問題がある場合は、まず必要メモリと処理時間の内訳を確認します。「重い処理はSQL、縮約後の分析はpandas」という分担は改善策の一つであり、データ量や運用環境に応じて選びます（大規模データを扱う際の公式の注意点）。
renueの実装知見：pandasを本番運用する5つの実学
renueは複数プロジェクトでpandasを本番運用しています。具体的には社内向けの分析アプリやデータ加工ツール等で、pandasが標準データ処理ライブラリとして組み込まれています。この運用から得た、pandas学習者に向けた5つの実学を共有します。
- メソッドチェーンを活用する：df.query(...).groupby(...).agg(...).sort_values(...).reset_index() のように1本のチェーンで書けると、中間変数が減り可読性が上がります。最初は分けて書き、慣れたらチェーンにまとめるのが定石です。
- apply()を濫用しない：df.apply(lambda row: ..., axis=1) のように行ごとにPython関数を実行すると、処理内容によっては遅くなります。数十万行などの行数だけで限界を決めず、実データで測定してください（公式の性能改善ガイド）。ベクトル化された組み込み関数（np.where、df.loc[mask, col] =、str accessor、dt accessor等）で書き直せないかを必ず先に考えてください。
- 型を早めに固定する：pd.read_csv() のデフォルト型推論は便利ですが予期せぬキャストを起こします。読み込み時に dtype={'col': 'int32'} のように型を明示する方法があります。値が符号付き32ビット整数の範囲に収まり、欠損がない列をint64からint32にすると、値の配列部分は8バイト/値から4バイト/値になります。DataFrame全体のメモリが半分になる保証ではなく、速度も実測が必要です（NumPyの整数型、pandasの型最適化）。欠損を含む場合は、欠損対応のInt32型などを検討します。日付列は parse_dates=[...] で最初から datetime にするのが鉄則です。
- メモリ制約を意識する：df.info(memory_usage='deep') でDataFrameのメモリ使用量を必ず確認する習慣を付けてください。文字列列で同じ値の繰り返しが多ければ、category型でメモリを減らせる場合があります。一方、値の種類が行数に近い場合は同程度か増えることもあるため、変換前後を測定します（カテゴリ型のメモリ特性）。大規模データを扱う前提のPJでは、初期設計で必ずメモリプロファイリングを回してください。
- 生成AIコードは必ず検証する：ChatGPT／Claude／Cursorが生成するpandasコードは、単純なケースでは正確ですが、①copy vs view の区別（旧版のSettingWithCopyWarningと、pandas 3.0以降のCopy-on-Writeを区別）、②欠損値の扱い（NaN伝播）、③index リセットの要否、④datetime のタイムゾーン処理、の4点で誤りが出やすい箇所です。AI生成コードを受け取ったら、小さなサンプルで手計算と一致することを必ず確認してから本番適用してください。
pandas学習で陥る10大失敗パターン
- 文法の網羅を目指す：pandasの関数は数百あり、全部覚える必要はない。10操作に集中。
- apply濫用：遅い。ベクトル化を先に考える。
- 連鎖代入と警告の放置：旧版のSettingWithCopyWarningに加え、pandas 3.0以降はCopy-on-Writeが唯一の動作で、連鎖代入では元のDataFrameを更新できません。元を更新する場合は.locで一度に指定します（公式の版別説明）。
- 欠損値の無考慮：欠損値の除外や補完が、集計の意味を変える場合があります。例えばsumは既定で欠損を除外し、全件欠損でも0を返します。必要に応じてmin_countを指定するなど、最初に業務上の扱いを決めます（sumの仕様）。
- 型推論任せ：メモリも速度も損する。読み込み時に型を指定する。
- loc / iloc 混同：locはラベル、ilocは位置。区別する。
- pandas で全部処理しようとする：大規模データはSQLで前処理する。
- merge の方向ミス：inner/left/right/outerを理解せず誤ったJOIN。
- datetime のタイムゾーン無視：UTC/JSTの混在で1日ずれる事故。
- Excel出力の罠：pandas→Excelで書き出す際は、日付・数値の表示形式や書式が要件に合うか確認します。常に崩れるわけではなく、xlsxwriter/openpyxlエンジンと書式指定方法を選びます（pandasとXlsxWriterの書式設定）。
AI時代のpandas学習：ChatGPT／Claude／Cursorを使う正しい順序
- 最初の2週間はAIを使わず手で書く：10操作を手で50問演習する。基本の感覚が身に付く。
- 3週目から自分のコードをAIにレビューさせる：「このpandasコードの性能問題を3つ指摘して」「ベクトル化できる箇所は？」と依頼する。
- 5週目以降は自然言語でコードを生成させる：「顧客IDでグループ化して、最新の購入日と合計金額を出す」のような要件を自然言語でAIに伝え、出力されたコードを読んで理解する。理解できない箇所は必ず「各行の意味を説明して」と深掘りする。
90日pandas学習プラン
以下は学習計画の例です。前提知識・週あたりの学習時間・課題の難しさに応じて、各期間を調整してください。
- 0〜3週目：文法と10操作の習得。Jupyter Notebook または Google Colab で環境構築。Udemy／Progate／Zennの入門コースを1本完走。10操作を手で50問演習。公開データセット（Titanic, Iris, Kaggle Public Datasets）で実データに触れる。
- 4〜8週目：実データでの分析プロジェクト。自分の職場のデータ（許可された範囲）または公開データで、分析プロジェクトを2〜3本こなす。Streamlit/Gradio で簡易ダッシュボードを1本作ると、学習の定着が段違いになります。同時にAIレビュー習慣を取り入れる。
- 9〜12週目：Polarsとクラウド統合。Polarsを1週間で学び、pandas との使い分けを体験する。並行してBigQuery/Snowflakeとpandasを連携させ、「SQL→pandas→可視化」の3層パイプラインを1本組む。最終週に「自分のポートフォリオとしてGitHubに置ける分析プロジェクト」を1本仕上げる。
pandas×AI時代のデータキャリアをrenueと
pandasをSQLと分担して使い、AIが生成したコードも検証できる力を身に付けることを提案します。renueは複数プロジェクトでpandas/Polars/BigQueryを本番運用するテック企業として、データキャリア形成・AI人材採用の両面で支援しています。データアナリスト・データサイエンティストへの転身を目指す方、データ人材を採用したい企業様、どちらもぜひご相談ください。
まとめ：pandasは「書く」から「設計してAIと併走する」時代へ
2026年のpandasは、依然としてデータ分析の中核ライブラリです。本稿で提案する学習・実践のポイントは①10操作を手で打てる、②ベクトル化を最優先する、③型とメモリを意識する、④SQL/Polarsと分担する、⑤AI生成コードを必ず検証する、の5点。この5点を意識し、90日を目安に実務課題へ取り組める状態を目指しましょう。到達度は学習時間や前提知識によります。完成した分析課題は、データアナリスト・データサイエンティストへのキャリアを検討する際にも経験を示す材料になります。renueはpandas/Polars/BigQueryを本番運用するテック企業として、データキャリア形成・AI人材採用を支援しています。
