【崗位職責(zé)】
1、基于業(yè)務(wù)需求進(jìn)行相關(guān)模塊的后端接口開發(fā)及代碼優(yōu)化；
2、配合前端進(jìn)行接口對接與調(diào)試；相關(guān)接口文檔的規(guī)范編寫；其它的一些獨(dú)立的后端任務(wù)開發(fā)等；
3、設(shè)計并實(shí)現(xiàn)高效、穩(wěn)定、可擴(kuò)展的爬蟲系統(tǒng)，確保數(shù)據(jù)的實(shí)時性與完整性；
4、深入研究各類反爬機(jī)制，開發(fā)繞過驗(yàn)證碼、限流、IP封禁等策略，提升爬蟲成功率 ；
5、實(shí)現(xiàn)代理池、動態(tài) UA、Cookies 管理、Session 維持等反爬解決方案 ；
6、提升爬蟲性能，優(yōu)化爬取速度、數(shù)據(jù)存儲結(jié)構(gòu)及請求并發(fā)模型；與數(shù)據(jù)分析、產(chǎn)品團(tuán)隊(duì)合作，理解數(shù)據(jù)需求并提供高質(zhì)量數(shù)據(jù)支持。
【任職要求】
1、本科以上學(xué)歷，計算機(jī)、軟件相關(guān)專業(yè)，三年以上相關(guān)經(jīng)驗(yàn)；
2、熟練掌握vibe coding，能熟練使用cloude code以及其他各種AI工具進(jìn)行設(shè)計、寫代碼等，協(xié)助加快工作效率，提升工作質(zhì)量；
3、熟練掌握Python Web框架：Django、Flask、FastAPI等；
4、熟悉API接口開發(fā)以及Restful相關(guān)協(xié)議；
5、熟練使用Python技術(shù)棧：Scrapy、Playwright、Selenium、Httpx、Requests 等爬蟲框架與庫；
6、熟悉反爬策略，包括但不限于代理池、IP輪換、驗(yàn)證碼識別、動態(tài)加載頁面解析、JavaScript 渲染頁面抓取等；
7、有豐富的繞過網(wǎng)頁限制經(jīng)驗(yàn)，掌握如瀏覽器指紋、Cookies 仿真、Session 維持、前端加密破解等技術(shù)；
8、熟悉異步編程、多進(jìn)程、分布式爬蟲架構(gòu)，具備大規(guī)模數(shù)據(jù)爬取與存儲經(jīng)驗(yàn)。