職責描述：
1、爬蟲開發與數據采集
設計并實現高效穩定的分布式爬蟲系統，采集各類公開數據源
2、處理反爬機制（驗證碼、IP封禁、動態加載、加密參數等）
3、保證數據采集的準確性、完整性和時效性
4、維護和優化現有爬蟲系統，提升采集效率和穩定性
2. Python應用開發
1、參與公司核心業務系統的后端開發與維護
2、設計和開發RESTful API接口服務
3、編寫高質量、可維護的代碼，進行代碼審查和性能優化
4、參與系統架構設計和技術方案選型
5、 數據處理與分析
5.1對采集數據進行清洗、去重、結構化處理
5.2開發數據ETL流程，構建數據倉庫
5.3配合數據團隊進行數據分析與可視化
6、系統運維與監控
6.1部署和維護爬蟲及后端服務
6.2建立監控告警體系，確保系統7×24小時穩定運行
任職要求：
1、計算機相關專業本科及以上學歷
2、2年以上Python開發經驗
3、深入理解Python核心特性（裝飾器、生成器、多線程/多進程等）
4、熟悉Python主流框架：
Web框架：Django/Flask/FastAPI至少一種
異步框架：asyncio/aiohttp實際項目經驗
5、爬蟲專項技能
熟練掌握爬蟲生態工具：
請求庫：requests、aiohttp、httpx
解析庫：BeautifulSoup、lxml、parsel
框架：Scrapy、Scrapy-Redis、PySpider
自動化：Selenium、Playwright、Puppeteer
熟悉反爬應對方案：
IP代理池（芝麻代理、快代理等）
驗證碼識別（打碼平臺或自建識別）
瀏覽器指紋偽裝
了解常見數據存儲方案：
關系型數據庫：MySQL/PostgreSQL
NoSQL：MongoDB/Redis/Elasticsearch
6、技術棧要求
數據庫：熟練使用SQL，了解ORM框架（SQLAlchemy/DjangoM）
隊列中間件：RabbitMQ/Kafka/Redis Queue
容器化：Docker基本使用，了解Docker Compose
版本控制：Git熟練使用
Linux：熟悉常用命令和服務器部署