hiskio

    Apache NiFi

    讓你輕鬆建立Data Pipeline

    收集中
    US$18.13

    內容簡介


    ‧精簡的設定和範例介紹，快速掌握Apache NiFi核心精髓
    ‧整合當今主流的資料工程架構與相關服務說明
    ‧掌握資料流設計的特性與重點，踏出資料工程第一步

    本書介紹Apache NiFi這套服務工具，讀者可以於該服務設計自動化處理資料流(Data Pipeline)。所有的設計與設定都是以No Code與WEB UI方式處理，具備強大的操作互動性和易用性。另外支援大多數的資料載體，如：Relational Database、Document DB、Column-Based、DataWarehouse 、Message Queue等對接處理，並支援目前主流的三大雲平台-AWS(Amazon Web Service)、GCP(Google Cloud Platform)和Microsoft Azure，涵蓋大部分企業使用到的應用與服務，都可透過Apache NiFi做到一站式整合與資料流設計，確保資料處理邏輯以及流入和流出的方向和目的地。同時在面對大量資料處理時也可以運用高擴展的特性來平行執行，也能更細節地去追蹤資料的變化與狀態，最後做到完整的流程與錯誤控制以避免產生資料遺漏的窘境。

    本書會介紹當今在資料工程常見的架構，接著介紹Apache NiFi的架構與元件、建置流程與設定、操作方式、與外部服務的整合和應用、資料追蹤等各個資料工程常見的應用處理。最後會提及資料工程領域的發展和重點分析，讓對於這塊領域較陌生或有興趣的讀者們，除了可以在本書學到Apache NiFi的核心價值之外，也能意識到該領域的後續發展與重點，給予讀者具體方向進行未來的發展和準備。

    作者介紹


    蘇揮原 Mars Su
    畢業於國立臺灣科技大學資管所，目前於趨勢科技(TrendMicro)擔任Staff Data Engineer，參與過Streaming Data Pipeline架構設計與開發，以及NLP應用處理，熱衷於資料工程和機器學習等領域的研究與探索。
    過往曾獲得iTHome 2021鐵人賽AI&Data組冠軍以及擔任過PyCon APAC 2022講者。

    目錄


    第1章 Data Pipeline 的重要性
    1.1 何謂 Data Pipeline？
    1.2 何謂 Streaming 和 Batch？
    1.3 何謂 Lambda、Kappa 和 Delta 架構？
    1.4 為什麼需要使用 Apache NiFi？
    1.5 小結

    第2章 Apache NiFi 的架構與建置
    2.1 Apache NiFi 架構與規格
    2.2 Apache NiFi Data Flow 的版控 - NiFi Registry
    2.3 如何建置 Apache NiFi & NiFi Registry
    2.4 小結


    第3章 Apache NiFi Componenet 介紹
    3.1 FlowFile 的概念與操作
    3.2 Processor 的概念與操作
    3.3 Connection 的概念與操作
    3.4 Processor Group 的概念與操作
    3.5 Controller Service 的概念與操作
    3.6 Templates、Label 和 Funnel 的概念與操作
    3.7 NiFi Registry 的概念與操作
    3.8 小結

    第4章 Apache NiFi 的語法
    4.1 Variables 和 Parameters 的範圍與差異
    4.2 何謂 NiFi Expression Language？
    4.3 小結

    第5章 Apache NiFi 和 DB 對接與實務
    5.1 何謂 RDB 和 DocumentDB？
    5.2 如何對 MySQL 對接與操作？
    5.3 如何與 MongoDB 對接與操作？
    5.4 小結

    第6章 Apache NiFi 和 Message Queue 對接與實務
    6.1 什麼是 Message Queue？
    6.2 什麼是 Apache Kafka？
    6.3 如何對 Apache Kafka 對接與操作？
    6.4 小結

    第7章 Apache NiFi 和 Cloud 對接與實務
    7.1 如何串接 AWS 服務？
    7.2 如何串接 GCP 服務？
    7.3 小結

    第8章 Apache NiFi 監控與追蹤邏輯
    8.1 訂定適當的監控指標
    8.2 Apache NiFi 的 Reporting Task 和整合應用
    8.3 Apache NiFi 的基本偵錯 Alert 機制
    8.4 小結

    第9章 資料工程的重要性與未來
    9.1 資料工程是什麼？為何重要？
    9.2 未來資料工程的變化與趨勢

    章节目录

    • 1-1
      封面頁
    • 1-2
      書名頁
    • 1-3
      作者序
    • 1-4
      目錄
    • 1-5
      CH01 Data Pipeline 的重要性
    • 1-6
      1.1 何謂Data Pipeline？
    • 1-7
      1.1.1 ETL (Extract-Transform-Load)
    • 1-8
      1.1.2 ELT (Extract-Load-Transform)
    • 1-9
      1.2 何謂Streaming 和Batch？
    • 1-10
      1.2.1 Streaming
    • 1-11
      1.2.2 Batch
    • 1-12
      1.3 何謂Lambda、Kappa 和Delta 架構？
    • 1-13
      1.3.1 Lambda 架構
    • 1-14
      1.3.2 Kappa 架構
    • 1-15
      1.3.3 Delta 架構
    • 1-16
      1.4 為什麼需要使用Apache NiFi？
    • 1-17
      1.4.1 什麼是Apache NiFi？
    • 1-18
      1.4.2 Apache NiFI 的元件介紹
    • 1-19
      1.5 小結
    • 1-20
      CH02 Apache NiFi 的架構與建置
    • 1-21
      2.1 Apache NiFi 架構與規格
    • 1-22
      2.1.1 Apache NiFi 內部架構
    • 1-23
      2.1.2 Apache NiFi Cluster 架構
    • 1-24
      2.1.3 Apache NiFi 的配置規格
    • 1-25
      2.2 Apache NiFi Data Flow 的版控 -NiFi Registry
    • 1-26
      2.2.1 NiFi Registry 基本介紹
    • 1-27
      2.2.2 NiFi Registry 的Metadata Database 和Persistence Provider
    • 1-28
      2.2.3 Apache NiFi 和NiFi Registry 整合之架構
    • 1-29
      2.3 如何建置Apache NiFi & NiFi Registry
    • 1-30
      2.3.1 官方的壓縮檔建置
    • 1-31
      2.3.2 Docker Container 建置
    • 1-32
      2.4 小結
    • 1-33
      CH03 Apache NiFi Componenet 介紹
    • 1-34
      3.1 FlowFile 的概念與操作
    • 1-35
      3.1.1 FlowFile 示意範例
    • 1-36
      3.2 Processor 的概念與操作
    • 1-37
      3.2.1 Processor 的用途與分類
    • 1-38
      3.2.2 Processor Configuration 細節
    • 1-39
      3.3 Connection 的概念與操作
    • 1-40
      3.3.1 Where does FlowFiles go？
    • 1-41
      3.3.2 Back Pressure
    • 1-42
      3.3.3 Load Balance Strategy
    • 1-43
      3.3.4 Available Prioritizers
    • 1-44
      3.4 Processor Group 的概念與操作
    • 1-45
      3.5 Controller Service 的概念與操作
    • 1-46
      3.5.1 與DB 的連線設定
    • 1-47
      3.5.2 與Cloud 服務的Credentials 設定
    • 1-48
      3.5.3 讀取或寫入特定的Format 設定
    • 1-49
      3.5.4 Controller Service 在Processor Group 中有階層關係
    • 1-50
      3.5.5 Controller Service 的Enable
    • 1-51
      3.6 Templates、Label 和Funnel 的概念與操作
    • 1-52
      3.6.1 什麼是Templates？
    • 1-53
      3.6.2 什麼是Labels？
    • 1-54
      3.6.3 什麼是Funnel？
    • 1-55
      3.7 NiFi Registry 的概念與操作
    • 1-56
      3.7.1 對接NiFi Registry
    • 1-57
      3.7.2 操作NiFi Registry
    • 1-58
      3.8 小結
    • 1-59
      CH04 Apache NiFi 的語法
    • 1-60
      4.1 Variables 和Parameters 的範圍與差異
    • 1-61
      4.1.1 Parameters 介紹
    • 1-62
      4.1.2 Variables 介紹
    • 1-63
      4.1.3 Parameters vs. Variables
    • 1-64
      4.2 何謂NiFi Expression Language？
    • 1-65
      4.2.1 Boolean Logic
    • 1-66
      4.2.2 String Manipulation
    • 1-67
      4.2.3 Encode/Decode Functions
    • 1-68
      4.2.4 Searching
    • 1-69
      4.2.5 Mathematical Operation & Numeric Manipulation
    • 1-70
      4.2.6 Date Manupulation
    • 1-71
      4.2.7 Type Coericon
    • 1-72
      4.2.8 Subjectless Functions
    • 1-73
      4.2.9 Evaluating Multiple Attributes
    • 1-74
      4.3 小結
    • 1-75
      CH05 Apache NiFi 和 DB 對接與實務
    • 1-76
      5.1 何謂RDB 和DocumentDB？
    • 1-77
      5.2 如何對MySQL 對接與操作？
    • 1-78
      5.2.1 建立MySQL 服務
    • 1-79
      5.2.2 下載和套用MySQL JDBC
    • 1-80
      5.2.3 存取MySQL DB 資料
    • 1-81
      5.3 如何與MongoDB 對接與操作？
    • 1-82
      5.3.1 建置MongoDB 服務
    • 1-83
      5.3.2 建立MongoDBControllerService
    • 1-84
      5.3.3 操作MongoDB 的資料
    • 1-85
      5.4 小結
    • 1-86
      CH06 Apache NiFi 和Message Queue 對接與實務
    • 1-87
      6.1 什麼是Message Queue？
    • 1-88
      6.2 什麼是Apache Kafka？
    • 1-89
      6.3 如何對Apache Kafka 對接與操作？
    • 1-90
      6.3.1 Producer
    • 1-91
      6.3.2 Consumer
    • 1-92
      6.4 小結
    • 1-93
      CH07 Apache NiFi 和Cloud 對接與實務
    • 1-94
      7.1 如何串接AWS 服務？
    • 1-95
      7.1.1 建立AWS Controller Service
    • 1-96
      7.1.2 AWS S3 的串接
    • 1-97
      7.1.3 AWS Lambda 的串接
    • 1-98
      7.1.4 AWS SNS 和SQS 的串接
    • 1-99
      7.1.5 AWS Athena 的串接
    • 1-100
      7.1.6 AWS Redshit 的串接
    • 1-101
      7.1.7 AWS 延伸服務
    • 1-102
      7.2 如何串接GCP 服務？
    • 1-103
      7.2.1 建立GCP Controller Service
    • 1-104
      7.2.2 GCP Cloud Storage 的串接
    • 1-105
      7.2.3 GCP BigQuery 的串接
    • 1-106
      7.2.4 GCP PubSub 的串接
    • 1-107
      7.3 小結
    • 1-108
      CH08 Apache NiFi 監控與追蹤邏輯
    • 1-109
      8.1 訂定適當的監控指標
    • 1-110
      8.2 Apache NiFi 的Reporting Task 和整合應用
    • 1-111
      8.3 Apache NiFi 的基本偵錯Alert 機制
    • 1-112
      8.4 小結
    • 1-113
      CH09 資料工程的重要性與未來
    • 1-114
      9.1 資料工程是什麼？為何重要？
    • 1-115
      9.1.1 定義場景問題與目的
    • 1-116
      9.1.2 定義資料範圍、量級與流向
    • 1-117
      9.1.3 資料欄位與型別的確認與變更
    • 1-118
      9.1.4 定義問題資料的處理與後續機制
    • 1-119
      9.1.5 定義資料驗證與監控
    • 1-120
      9.1.6 具備彈性特性
    • 1-121
      9.1.7 視覺化資料分析和探索
    • 1-122
      9.2 未來資料工程的變化與趨勢
    • 1-123
      版權頁
    • 1-124
      封底頁

    常见问答

    您可以透過手機、平板或是電腦登入 HiSKIO 平台，在【我的學習】＞【我的書籍】頁面，選擇想看的電子書。

    猜你喜欢

    用户评价

    | 收集中

    销售方案