"崗位概述
1、負責設計和開發分布式網絡爬蟲系統
2、研究爬蟲策略和防屏蔽規則，解決封賬號、封IP、驗證碼等難點攻克，提升數據抓取的效率和質量
3、負責爬蟲核心算法和策略優化，提升爬蟲系統的穩定性、可擴展性
4、實時監控爬蟲任務的執行狀況，及時處理爬蟲異常
要求項
教育背景要求(專科及以上)
工作經驗(3 年以上)
知識與技能(1. 有實際分布式爬蟲系統開發經驗，熟悉scrapy和scrapy-redis框架及其參數調優
2. 熟悉使用request,urllib模塊進行源碼下載；Xpath,BeautifulSoup,Re數據提取
3. 能夠處理圖片驗證碼、滑塊驗證碼、二維碼登錄，短信驗證碼；JS反爬，APP抓取數據，多緯度獲取數據
4. 熟悉使用selenium，appium，uiautomator2，參與手機群控系統的規劃，設計與開發
5. 熟悉網絡抓包工具charles，fiddler，mitmproxy抓包分析，請求包的偽造
6. 使用flask編寫數據接口，查詢elasticsearch，mysql，mogondb數據返回前端
7. 具有hadoop，hdfs，spark，kafka，elasticsearch等大數據使用經驗)
其他(具有淘寶、抖音、小紅書開發經驗優先)"