崗位職責：
1、使用 Python 及相關生態庫（如Scrapy, Requests, Selennium, Playwright等）設計、開發和維護穩定可靠的分布式爬蟲系統， targeting 主流電商平臺（如淘寶/天貓、京東、拼多多、抖音電商、小紅書等）。
2、自動化輔助：在遇到復雜反爬策略（如驗證碼、行為檢測、高強度加密）時，能夠運用 影刀 或 AirTest 等RPA工具作為有效補充方案，構建混合型自動化采集流程，確保數據獲取的成功率與穩定性。
3、數據處理：對原始數據進行清洗、去重、解析、轉換和校驗，利用 Pandas, NumPy 等工具進行數據治理，確保數據質量和可用性。
4、數據存儲：將處理后的數據高效存儲到數據庫（如 MySQL, PostgreSQL, MongoDB, Redis 等）中，并進行合理的表結構設計和索引優化。
5、運維監控：維護數據采集流程的日常穩定運行，編寫監控腳本，及時排查和解決因平臺策略變更、系統環境等問題導致的故障。
6、技術文檔：撰寫清晰的技術設計、流程說明及API文檔，保證代碼和項目的可維護性。
崗位要求：
1、本科及以上學歷，計算機相關專業，3-5年以上Python開發經驗。
2、精通Python編程，有扎實的編程基礎，熟悉常用數據結構、算法和設計模式。
3、具備豐富的網絡爬蟲開發經驗，熟練掌握至少一種主流爬蟲框架（如Scrapy），能獨立處理常見反爬機制。
4、有RPA工具（如 影刀、AirTest、UiPath等）的實際項目應用經驗，理解其與代碼開發的互補關系。
5、熟練掌握數據清洗和分析的常用庫，如 Pandas。
6、熟悉數據庫技術，能熟練編寫和優化SQL語句，有MySQL等關系型數據庫的使用和設計經驗。
7、熟悉Web前端基礎（HTML, CSS, JavaScript, Ajax）和網絡協議（HTTP/HTTPS），精通瀏覽器開發者工具的使用。