【崗位描述】
1.負責公司指定數據源采集需求，滿足公司對多源數據采集要求；
2.負責優化采集策略，進行多平臺信息的采集和清洗；
3.負責內部數據管理平臺規劃和建設，完成數據采集與解析處理、入庫等數據日常工作；
4.積極主動思考探索爬蟲在實際業務中的價值，參與設計數據有效利用策略，從數據合理性、完整性角度提供建議；
5.負責數據采集策略優化，提升數據抓取的效率和質量；
6.設計數據采集規則，解決數據采集清洗中的難點問題；
7.對抓取后的數據進行清洗、存儲等；并持續優化平臺，以便滿足各種數據采集業務需求。

【任職要求】
1.計算機、信息管理、自動化、數學等相關專業，本科及以上學歷，5年以上相關工作經驗；
2.熟悉主流爬蟲工具，或熟悉python及其相關分布式數據采集框架；熟練掌握SQL、ETL數據處理開發工作；
3.熟練使用數據庫。熟悉數據庫原理，SQL常見問題和調優，數據庫服務器管理等；熟悉數據清洗相關概念和方法；
4.工作態度細致、耐心。對數據敏感；對技術充滿好奇心。愛發現、肯鉆研，能深入；
5.有超強的自我驅動力和主觀能動性，良好的團隊意識。