崗位職責(zé)：
1.對指定的網(wǎng)站進(jìn)行網(wǎng)頁抓取、數(shù)據(jù)提取、破解反爬策略；
2.負(fù)責(zé)多平臺(tái)信息抽取、數(shù)據(jù)清洗、入庫、服務(wù)化等研發(fā)和優(yōu)化工作；
3.參與開發(fā)和設(shè)計(jì)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，進(jìn)行信息的抓取和分析工作；
4.研究優(yōu)化爬蟲算法，提升爬蟲系統(tǒng)的穩(wěn)定性、可擴(kuò)展性；
5.獨(dú)立解決實(shí)際開發(fā)過程中碰到的各類產(chǎn)品數(shù)據(jù)需求和接口問題。
任職資格：
1、3年以上爬蟲工作經(jīng)驗(yàn)，善于溝通，工作積極，態(tài)度認(rèn)真，有主動(dòng)學(xué)習(xí)精神；
2、精通python編程語言，熟悉scrapy等常用數(shù)據(jù)抓取框架以及原理，熟悉網(wǎng)頁信息和APP數(shù)據(jù)抽取，能夠設(shè)計(jì)分布式爬蟲系統(tǒng)框架；
3、熟練 Charles等抓包工具，精通網(wǎng)頁抓取原理及技術(shù)，精通正則表達(dá)式，熟練從結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；
4、熟練 JS debugger、JS逆向;
5、精通 selenium 、DrissionPage 等自動(dòng)化抓取技術(shù)；
6、熟悉Linux平臺(tái)開發(fā)，并且熟悉多線程模型編程、網(wǎng)絡(luò)編程，熟悉HTTP、TCP/UDP協(xié)議，了解mysql，redis等數(shù)據(jù)庫的使用
7、研究爬蟲策略和防屏蔽規(guī)則,解決封賬號(hào)、封IP、驗(yàn)證碼、頁面跳轉(zhuǎn)等難點(diǎn)攻克,提升網(wǎng)頁抓取的效率和質(zhì)量
8、優(yōu)先條件,對APP脫殼、APP逆向反編譯或者有抖音、小紅書、蒲公英、快手 爬取經(jīng)驗(yàn)，或者對機(jī)器學(xué)習(xí)算法有一定了解。