核心職責?
1、數據采集服務搭建：主導設計并開發電商平臺（得力、蘇寧等）公開數據采集方案，精準爬取商品信息、訂單詳情、價格動態等核心數據，保障數據采集的完整性與時效性。?
2、數據管道運維優化：負責現有采集任務、數據同步流程的日常維護，持續迭代采集策略、調度機制及數據清洗規則，提升數據質量、采集效率，降低資源消耗。?
3、數據同步閉環建設：參與設計并實現內部業務狀態（如訂單妥投、簽收、退款）向上游電商平臺的回傳模塊，確保數據流轉的閉環性與一致性。?
4、反爬策略攻關：深入研究各類電商平臺反爬機制（驗證碼、IP 封禁、頻率限制等），制定針對性突破方案，保障數據采集通道長期穩定暢通。?
5、技術沉淀與文檔編寫：撰寫規范、清晰的技術文檔（設計方案、接口文檔、運維手冊等），沉淀技術經驗，助力團隊協作與知識傳承。?
任職要求?
必備條件?
1、學歷與經驗：計算機相關專業本科及以上學歷，3 年以上 Python 開發經驗，且具備數據采集 / 爬蟲項目實戰經歷。?
2、技術能力：?
1）精通 Python 語言，熟練運用 Scrapy、Requests、BeautifulSoup 等主流采集工具庫，能獨立完成復雜采集需求開發。?
2）深入理解 HTTP/HTTPS、TCP/IP 等網絡協議，熟練使用瀏覽器開發者工具（F12）進行請求分析、接口調試。?
3）具備處理驗證碼識別、IP 池搭建、頻率控制等常見反爬機制的實際經驗，能快速定位并解決采集過程中的技術問題。?
4）熟悉 MySQL/PostgreSQL 等關系型數據庫，能編寫高效 SQL 語句，具備數據存儲、查詢優化基礎。?
5）掌握 Linux 基本操作命令，能獨立完成服務部署、日志排查、任務調度等工作。?
3、綜合素質：具備優秀的邏輯思維能力、自主學習能力和責任心，抗壓能力強，能在快節奏項目中高效推進工作，確保交付質量。
?4、優先條件?
1）擁有爬蟲集群搭建與維護經驗，熟悉 Celery（任務隊列）、Zookeeper（分布式協調）、Redis（緩存）等技術的實際應用。?
2）有電商平臺（尤其是得力、蘇寧等）數據采集或數據同步項目經驗者優先。?
3）熟悉 RabbitMQ/Kafka 等消息隊列、Redis 分布式緩存的應用場景與實踐技巧。?
4）具備 Selenium、Playwright 等工具處理動態渲染網頁（JS 加載、AJAX 異步請求）的開發經驗。?
5）了解 Docker 容器化技術，有容器化部署、運維經驗者優先。