市面上沒有教的進階爬蟲核心技！反爬蟲ｘ高效爬蟲 x 爬蟲框架 x 分散式爬蟲

4 種進階爬蟲技術，幫助你橫向覆蓋多項進階技法，縱向提升爬蟲實戰能力​

# 市面上少見的「進階爬蟲技法」課程，幫助你克服那些初階爬蟲技術無法解決的問題​

Python 是時下最熱門的程式語言之一，其中各大企業最需要 Python 的技術即是在開發爬蟲上的進階核心技能。而進階爬蟲不單單只是在自動索引網頁，抑或是爬取大量資料庫的入門職能這麼簡單而已，對於懂得如何運用進階爬蟲的資料工程師無疑是各大企業所需的專才，尤其在各大科技巨擘，如 Google、Yahoo、Facebook 等，會進階爬蟲技巧的運用即是進入科技大廠的入場券。

而這堂課將教你進階爬蟲必學的 4 種技術，包含：反爬蟲、高效爬蟲、爬蟲框架與分散式爬蟲，並實際帶你爬取各種網站，讓你學完直接對接職場應用。

若只會基礎爬蟲，那你一定會遇到這些困境！

# 然而，市面上卻少有完整的進階爬蟲技術課程

總是爬不到特定網站的資料嗎？一課掌握常見的反爬蟲處理手法

# 課後輕鬆爬取基礎爬蟲無法處理的網站

爬蟲像一隻蟲子，密密麻麻地爬行到每一個角落獲取數據。但由於爬蟲技術造成的大量 IP 訪問網站侵占頻寬資源、以及用戶隱私和知識產權等危害，很多互聯網企業都會花大力氣進行「反爬蟲」。

課程中將教你如何處理反爬蟲機制，同時教你如何反制反爬蟲機制，爬取特定網站的資料。

實戰級課程，完整覆蓋各種進階爬蟲技術

學過基礎爬蟲的你，是否常常爬取不到特定網站的資料呢？因為許多網站存在反爬蟲等機制。你或許也常常不知道如何整合多種來源的爬蟲資料。

這個章節首先會帶你了解爬蟲程式常見的限制與挑戰，並點出你必學的進階爬蟲核心技術。

許多網站為了不被外部因素拖慢網站速度，會有反爬蟲的機制，讓他人無法爬取到網站資料。

而這章節就是要帶你掌握 4 種反爬蟲手法，包含：模仿瀏覽器標頭資訊、驗證碼處理、使用者登入與授權機制、代理伺服器與動態 IP，讓你可以輕鬆克服反制爬蟲的網站。

你是不是也常常在爬取網站資料時，因為資料過多，而等到天荒地老？別擔心，這個困擾有解了！

老師將帶你掌握 2 種高速爬蟲策略，包含多線程爬蟲程式、非同步爬蟲程式，讓你輕鬆省時的爬取多項資料。

爬取完資料後，有時候因為資料來源不同、格式不同而難以整合資料，這個章節你將學會利用 Scrapy 框架資料收集 pipeline，並挖掘、存取爬蟲數據，進行大規模多網頁爬蟲框架實作。

當你要爬取的資料量較大、邏輯較複雜時，這時候就能活用 Scrapy 框架。它非同步處理請求，速度十分快，而且可以使用自動調節機制，自動調整爬行速度，也能管理多來源的爬蟲框架。

首先了解分散式爬蟲的架構，接著利用 Redis 分散與暫存資料，並使用 scrapy-redis 實踐分散式爬蟲程式，最後利用 MySQL 匯總所有資料，實作完整的爬蟲系統。

常見驗證碼包含「圖片」或是「滑動驗證碼」，是目前在網頁當中常見的一種驗證機制，用來判斷惡意的使用者干擾與攻擊。爬蟲在實作上遇到驗證碼時，必須先把圖抓回來，再搭配圖形識別工具找出圖中的內容。

而這個章節會帶你實作多種常見的驗證碼處理技巧，遇到不同的驗證機制，也能輕易爬取網站資料。

你知道爬蟲框架 Scrapy 也可以搭配 Selenium 嗎？這一章節教你如何整合兩個工具，在框架中也能完美處理動態網頁的問題。

這些職業必上！學會進階爬蟲技能，職涯也跟著進階

# 大數據時代，擁有數據、資料整合能力更加分

高度評價認證，超佛系講師親授的稀有課程

# 好評不斷，口碑持續引爆！