工作職責(zé)：
1、負(fù)責(zé)設(shè)計和開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，進行多平臺信息的抓取和清洗工作；
2、負(fù)責(zé)網(wǎng)頁信息數(shù)據(jù)抽取、清洗、消重等工作，提升平臺的抓取效率；
3、設(shè)計和開發(fā)爬蟲的監(jiān)控和報警系統(tǒng)，提高問題發(fā)現(xiàn)能力；
4、研究爬蟲策略和防屏蔽規(guī)則，解決封賬號、封IP、頁面跳轉(zhuǎn)等難點，提升網(wǎng)頁抓取的效率和質(zhì)量。
5、參與爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略；
6、能完成領(lǐng)導(dǎo)臨時交辦的任務(wù)并能很好完成突發(fā)、緊急事件的處理；
任職要求：
1.本科以上學(xué)歷；
2.計算機相關(guān)專業(yè)；
3.熟練使用Python語言、Java等編程語言，使用基于Selenuim、Scrapy、puppeteer、appium其中一種，進行過爬蟲項目；
4.熟悉xpath、html、CSS、JS等前端技術(shù)；
5.熟練使用re、json、lxml、requests、numpy、pandas等第三方庫；
6.熟悉Python多線程、多進程及爬蟲機制，使用過一種分布式框架；
7.熟練使用SQL語言，使用過SQLServer、MySQL、Mongodb任一種數(shù)據(jù)庫；熟練使用Linux；
8.使用過fiddler進行過抓包和請求分析；
9.具有反爬經(jīng)驗，對封IP、封賬號、JS逆向等，有過實際經(jīng)驗；
10.具有團隊精神、積極的工作態(tài)度和對工作的責(zé)任心，有一定的穩(wěn)定性。