崗位職責
1、負責設計、開發和維護高效、穩定的爬蟲系統，提升數據采集的效率和質量；
2、負責多平臺信息抽取、數據清洗、入庫、服務化等研發和優化工作；
3、解決實際開發過程中碰到的各類產品數據需求和接口問題。
任職要求
1、大專及以上學歷，熟練使用Python或其他相關語言進行爬蟲開發，擁有扎實的編碼和調試能力，并能夠編寫高質量的可維護代碼；
2、熟悉各種爬蟲框架和工具，如Scrapy、BeautifulSoup、Selenium等，能夠根據需求靈活使用，同時熟悉反爬蟲機制的解決方案；
3、具備大規模分布式爬蟲系統設計和開發經驗，能夠解決分布式爬蟲中的挑戰和問題，如任務調度、數據同步和去重等；
4、深入理解網絡協議和網頁結構，能夠處理復雜的頁面結構和動態內容；
5、熟悉數據庫的使用，能夠設計和優化數據存儲和查詢方案，具備數據清洗和處理的能力。