崗位職責(zé)：
1、負(fù)責(zé)公司爬蟲系統(tǒng)的設(shè)計(jì)、研發(fā)與維護(hù)；
2、設(shè)計(jì)爬蟲策略與算法，提升抓取效果；
3、持續(xù)優(yōu)化系統(tǒng)，提高系統(tǒng)的穩(wěn)定性及性能。
4、負(fù)責(zé)網(wǎng)絡(luò)數(shù)據(jù)抓取規(guī)劃、定期爬取指定網(wǎng)站的數(shù)據(jù)。
5、設(shè)計(jì)爬蟲策略和防屏蔽規(guī)則，提升網(wǎng)頁(yè)抓取的效率和質(zhì)量。
崗位要求：
1、深入了解Http協(xié)議和web登錄認(rèn)證機(jī)制；
2、有扎實(shí)的計(jì)算機(jī)基礎(chǔ)、熟悉常用數(shù)據(jù)結(jié)構(gòu)，具有實(shí)際爬蟲開發(fā)經(jīng)驗(yàn)；
3、至少熟練掌握C#/Python/JAVA其中一種語(yǔ)言，良好的編碼風(fēng)格及編碼能力；熟悉常見第三方sdk，如：破解驗(yàn)證碼、圖片生成碼、ip代理等；
4、熟悉高并發(fā)、高性能的分布式系統(tǒng)的設(shè)計(jì)及應(yīng)用，熟悉常用數(shù)據(jù)存儲(chǔ)，各種數(shù)據(jù)處理技術(shù)優(yōu)先；
會(huì)使用類似sign、xsign；
爬蟲、爬蟲架構(gòu)、Python爬蟲；
逆向、js逆向 | 反爬js逆向、安卓逆向 | android逆向；
模擬器；
協(xié)議分析、加密 | 破解；
數(shù)據(jù)分析、數(shù)據(jù)清洗、數(shù)據(jù)解析
享有法定節(jié)假日；端午、中秋、春節(jié)福利；生日假及生日福利;結(jié)婚、生育紅包；每周下午茶；年終獎(jiǎng);戶外拓展活動(dòng)；公司實(shí)行雙休，提供工作餐。