崗位職責(zé)：
1、負(fù)責(zé)開發(fā)網(wǎng)絡(luò)爬蟲系統(tǒng)以及優(yōu)化爬蟲策略，進(jìn)行多平臺信息的抓取和分析；
2、完成數(shù)據(jù)采集與爬取、解析處理、入庫等數(shù)據(jù)日常工作；
3、積極主動思考探索爬蟲在實(shí)際業(yè)務(wù)中的價(jià)值，參與設(shè)計(jì)數(shù)據(jù)有效利用策略，從數(shù)據(jù)合理性、完整性角度提供建議；
4、把握網(wǎng)絡(luò)爬蟲核心技術(shù)研究方向，研究優(yōu)化方向，提升爬蟲系統(tǒng)的穩(wěn)定性、可擴(kuò)展性；
5、設(shè)計(jì)爬蟲策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質(zhì)量。
任職要求：
1、 統(tǒng)招專科以上學(xué)歷，1年以上爬蟲項(xiàng)目經(jīng)驗(yàn)，計(jì)算機(jī)相關(guān)專業(yè)，具備良好的計(jì)算機(jī)專業(yè)知識；
2、熟悉python/java語言，具備扎實(shí)的編程功底，具有良好的程序設(shè)計(jì)能力；
3、 熟悉爬蟲原理，熟悉Scrapy、pyspider等主流爬蟲框架，能夠解決封賬號、封IP、驗(yàn)證碼、網(wǎng)頁限制爬取等問題，且有實(shí)際經(jīng)驗(yàn)；
4、熟練使用正則表達(dá)式、css、xpath等數(shù)據(jù)清洗方法；
5、 業(yè)務(wù)理解和分析轉(zhuǎn)化能力較強(qiáng)，富有進(jìn)取精神及團(tuán)隊(duì)合作精神，責(zé)任心強(qiáng)，善于合作溝通，能夠承受壓力；
6、加分項(xiàng)：有App采集經(jīng)驗(yàn)，掌握fiddler、charles等抓包工具的使用，掌握xposed、frida、ida pro的使用方法，可以獨(dú)立解決復(fù)雜加密算法的破解。