崗位職責(zé)：
1、 負(fù)責(zé)公司產(chǎn)品線的技術(shù)棧的選型和完善, 負(fù)責(zé)關(guān)鍵技術(shù)架構(gòu)和核心模塊的開發(fā)實現(xiàn);
2、 參與公司項目的架構(gòu)設(shè)計、研發(fā)、編程工作；
3、 設(shè)計公司業(yè)務(wù)執(zhí)行策略和防屏蔽規(guī)則，提升數(shù)據(jù)抓取執(zhí)行的效率和質(zhì)量, 并對策略持續(xù)優(yōu)化；
4、負(fù)責(zé)架構(gòu)設(shè)計相關(guān)的技術(shù)攻關(guān)。

任職要求：
1、5年以上爬蟲開發(fā)經(jīng)驗，熟悉掌握 python語言；
2、熟悉Python和常用的開源庫，熟練使用Django/Flask等至少一種主流的web開發(fā)框架；
3、熟悉Mysql，mongoDB， Redis，Es，隊列等數(shù)據(jù)庫的使用和優(yōu)化；
4、對進程、線程、協(xié)程、異步、非阻塞有一定了解和使用
5、對linux系統(tǒng)基礎(chǔ)知識及原理有深入了解，能獨立完成日常部署更新等 ；
6、熟悉爬蟲主流框架Scrapy、requests、Selenium、gocolly，webmagic等框架（深入了解其中一種）。
7、熟悉應(yīng)用IP代理池、Headers認(rèn)證和Cookie等；
8、有分布式爬蟲、反爬機制經(jīng)驗者優(yōu)先
9、熟悉js逆向，js破解優(yōu)先考慮
10、有參與實時監(jiān)控爬蟲的進度和警報反饋系統(tǒng)的優(yōu)先考慮。
11、具備全棧開發(fā)能力優(yōu)先考慮。