Readmoo 讀墨電子書
每日問答 每日優惠 版權到期
Python 大數據專案×工程×產品：資料工程師的升級攻略
0 則劃線
0 篇書評

Python 大數據專案×工程×產品：資料工程師的升級攻略

分類導覽 > 電腦科技 > 程式設計
  • 出版日期： 2026/02/19
  • 語言：繁體中文
  • 檔案大小：81.9MB
  • 商品格式：固定版面 EPUB
  • ISBN: 9786267757802
  • eISBN: 9786267757918
  • 頁數： 658
紙本書定價：NT$ 880
電子書定價：NT$ 880
電子書售價：NT$ 704
本書為固定版面 EPUB，建議您使用 mooInk Pro 系列、平板及電腦閱讀。

分享在 Github 獲得 2,300 stars 的大數據 Side Project——FinMind，並一步步帶領讀者從 0 開始，打造專屬於自己的大數據 Side Project。

詳細資訊

分享在 Github 獲得 2,300 stars 的大數據 Side Project——FinMind，並一步步帶領讀者從 0 開始，打造專屬於自己的大數據 Side Project。

不同於僅止於教學示範的 Side Project，FinMind 是少數經過實際使用者驗證、長期維運的資料服務，完整呈現資料工程從架構設計、系統實作，到產品化與穩定營運的全流程。讀者不只學會「怎麼做」，更能理解 為什麼要這樣做。

【你將學到】
資料工程實戰
►使用分散式架構蒐集證交所、櫃買中心、期交所等股市資料，
►並以容器化技術建構爬蟲、API、資料庫與訊息佇列服務。

低成本雲端部署
►單月約 5 美金 即可運行完整系統，
►一站式管理多台分散式機器與服務。

產品化與迭代流程
►從單元測試、CI/CD 到 API 上線，
►建立可持續維護與擴充的資料產品。

監控與視覺化
►建立專屬資料儀表板，並以業界主流監控工具掌握系統狀態。"

影音資訊

目錄列表

  • 目錄
    1. COVER
      1. 第1篇 資料工程ETL
        1. 01 本書介紹
        2. 02 開發環境
          1. 2.1 開發環境重要性
          2. 2.2 Linux 作業系統
          3. 2.3 Windows 作業系統
          4. 2.4 Mac 作業系統
          5. 2.5 Python 開發工具VS Code
        3. 03 Docker
          1. 3.1 為什麼先介紹 Docker ？
          2. 3.2 什麼是 Docker ？
          3. 3.3 安裝 Docker
          4. 3.4 安裝 Docker Compose
        4. 04 雲端
          1. 4.1 為什麼要用雲端？
        5. 05 資料收集
          1. 5.1 Python 環境設置
            1. 5.1.1 為什麼需要設置環境？
            2. 5.1.2 Python 環境、套件管理工具——pipenv
            3. 5.1.3 Python 環境、套件管理工具——uv
          2. 5.2 爬蟲
            1. 5.2.1 什麼是爬蟲？
            2. 5.2.2 證交所爬蟲範例
            3. 5.2.3 櫃買中心爬蟲範例
            4. 5.2.4 期交所爬蟲範例
          3. 5.3 資料庫架設
            1. 5.3.1 什麼是資料庫？
            2. 5.3.2 關聯式資料庫——MySQL
          4. 5.4 上傳資料到資料庫
            1. 5.4.1 架構介紹
            2. 5.4.2 Clients、Router 資料庫操作
            3. 5.4.3 建立 table
            4. 5.4.4 爬蟲上傳資料庫
          5. 5.5 分散式爬蟲
            1. 5.5.1 為什麼需要分散式？
            2. 5.5.2 分散式任務轉發——RabbitMQ
            3. 5.5.3 Python 分散式爬蟲工具——Celery
            4. 5.5.4 真實應用場景
            5. 5.5.5 FinMind 分散式爬蟲架構
          6. 5.6 定時爬蟲
            1. 5.6.1 為什麼需要定時爬蟲？
            2. 5.6.2 APScheduler
            3. 5.6.3 APScheduler ＆ 分散式爬蟲架構
        6. 06 資料提供——RESTful API 設計
          1. 6.1 什麼是 API ？
          2. 6.2 輕量 API——Flask
            1. 6.2.1 建立第一個 API
          3. 6.3 高效能 API——FastAPI
            1. 6.3.1 建立第一個 API
            2. 6.3.2 建立 API 回傳真實資料
            3. 6.3.3 ApacheBench 壓力測試
            4. 6.3.4 API 介面——Swagger
        7. 07 容器管理工具 Docker
          1. 7.1 為什麼要用 Docker
          2. 7.2 建立第一個 Docker Image——Dockerfile
            1. 7.2.1 爬蟲
            2. 7.2.2 API
          3. 7.3 發布 Docker Image
            1. 7.3.1 Docker Hub 介紹
            2. 7.3.2 發布 Docker Image
          4. 7.4 雲端部署
          5. 7.5 Docker Swarm
            1. 7.5.1 介紹
            2. 7.5.2 建立第一個 Swarm
            3. 7.5.3 管理介面——Portainer
          6. 7.6 佈署服務
            1. 7.6.1 MySQL
            2. 7.6.2 RabbitMQ
            3. 7.6.3 爬蟲
            4. 7.6.4 API
      2. 第2篇 產品迭代——測試運維
        1. 08 自動化測試
          1. 8.1 單元測試 Unit Test
            1. 8.1.1 什麼是單元測試 Unit Test ？
            2. 8.1.2 第一個測試
            3. 8.1.3 測試覆蓋率
            4. 8.1.4 爬蟲單元測試範例
            5. 8.1.5 API 單元測試範例
        2. 09 CICD 持續性整合、佈署
          1. 9.1 什麼是 CICD ？
          2. 9.2 CI 持續性整合
          3. 9.3 GitLab-CI、以爬蟲專案為例
          4. 9.4 GitLab-CI，建立 Docker Image
            1. 9.4.1 GitLab-Runner
            2. 9.4.2 CICD 建立 Docker Image
          5. 9.5 GitLab-CI，佈署新版本
          6. 9.6 GitLab-CI、以 API 專案為例
            1. 9.6.1 Test——測試
            2. 9.6.2 Build——建立 Image
            3. 9.6.3 Deploy——佈署
          7. 9.7 總結
      3. 第3篇 API 產品上線
        1. 10 API 服務網址
          1. 10.1 為什麼需要網址？
          2. 10.2 No-IP 免費的網址申請
          3. 10.3 Let's Encrypt 免費的 SSL 憑證
          4. 10.4 Traefik
          5. 10.5 API 結合 Traefik
          6. 10.6 總結
      4. 第4篇 資料視覺化
        1. 11 視覺化工具
          1. 11.1 什麼是視覺化？
          2. 11.2 Redash
          3. 11.3 Redash 帳號設定
          4. 11.4 資料庫連接
          5. 11.5 匯入資料
          6. 11.6 製作第一個圖表
          7. 11.7 第一個 Dashboard
          8. 11.8 設定下拉式選單
          9. 11.9 其他 BI 工具
      5. 第5篇 排程管理工具
        1. 12 排程管理工具——Apache Airflow
          1. 12.1 事前準備
          2. 12.2 什麼是排程管理工具？
          3. 12.3 為什麼選擇 Airflow ？
          4. 12.4 什麼是 Airflow ？
          5. 12.5 架設第一個 Airflow
            1. 12.5.1 為什麼使用 Docker 架設？
            2. 12.5.2 開始架設 Airflow
            3. 12.5.3 架構介紹
          6. 12.6 DAG 介紹
          7. 12.7 常見 Operator 介紹
            1. 12.7.1 BashOperator
            2. 12.7.2 PythonOperator
            3. 12.7.3 DummyOperator.
            4. 12.7.4 BranchPythonOperator
            5. 12.7.5 DockerOperator
          8. 12.8 Airflow 結合爬蟲——CeleryExecutor
            1. 12.8.1 架構介紹
            2. 12.8.2 架設 Airflow + CeleryExecutor
            3. 12.8.3 程式碼解析
          9. 12.9 結論
        2. 13 Redis 介紹
          1. 13.1 麼是 Redis ？
          2. 13.2 使用Docker 架設Redis- 結合Celery
      6. 第6篇 監控系統
        1. 14 監控工具介紹
          1. 14.1 為什麼需要監控系統？
          2. 14.2 最知名的開源監控系統之一
            1. 14.2.1 Prometheus 介紹
            2. 14.2.2 Grafana 介紹
            3. 14.2.3 Netdata 介紹
            4. 14.2.4 如何尋找監控路徑 Metrics ？
          3. 14.3 架設個人化監控儀表板
            1. 14.3.1 Netdata
            2. 14.3.2 MySQL
            3. 14.3.3 RabbitMQ
            4. 14.3.4 Airflow
            5. 14.3.5 Traefik
          4. 14.4 總結
        2. 15 結論

    購買說明

    根據台灣現行法規，數位內容（ 如電子書、音樂、影片、遊戲、App ）形式之商品，不受「網購服務需提供七日鑑賞期」的限制。為維護您的權益，建議您先使用「試讀」功能後再付款購買。

    作者其他作品

    Python 大數據專案×工程×產品：資料工程師的升級攻略

    Python 大數據專案 X 工程 X 產品 資料工程師的升級攻略

    貓邏輯（暢銷新裝版）

    MORE
    出版社簡介
    深智數位股份有限公司
    出版社作品

    Vibe Coding－Python超級入門：ChatGPT x Codex

    AI Agent智能工作流：設計與自動化全實戰

    Sutskever 大神推薦 - 建構AI世界最重要的30篇論文：用PyTorch完整實作

    更多出版社作品
    試讀