崗位職責
1.分布式爬蟲系統架構與開發：負責設計、開發、優化及維護高性能分布式爬蟲系統，支撐大規模、高并發數據抓取需求，確保系統的穩定性、高效性和可擴展性。負責網頁信息抽取、清洗、消重和結構化處理，保證數據質量與采集效率。
2.逆向分析與協議破解（含Hook技術）：
1.Web端：深入研究并破解各類反爬機制，如JS混淆（OB、VMP）、加密算法、驗證碼等。精通JS Hook技術（如攔截 XMLHttpRequest、Fetch API、Cookie操作、環境檢測函數等），以攔截關鍵函數、獲取加密參數、修改瀏覽器環境，輔助逆向調試和協議還原。
2.移動端(APP)：負責對Android應用進行逆向分析（反編譯、動態調試、代碼還原）。熟練使用 Frida、Xposed 等工具進行APP內存數據Hook、函數調用攔截，破解通信協議，提取加密密鑰或明文數據。研究核心業務邏輯，如協議分析、加密算法破解、風控機制對抗。
3.反爬蟲策略設計與突破：研究各類反爬蟲機制（驗證碼、IP封鎖、動態渲染、請求限速等），制定針對性解決方案（如代理IP池構建、動態瀏覽器模擬、AI驗證碼識別、請求頻率調控），提升抓取效率與成功率。
4.數據處理與業務支撐：開發自動化腳本（Python為主）實現數據采集、清洗、結構化提取與深度挖掘。結合業務需求輸出數據價值建議，推動爬蟲技術與業務場景深度結合。
任職要求
必備技能
1.學歷與經驗：本科及以上學歷，計算機相關專業優先。5年及以上大規模爬蟲/反爬經驗，有大型分布式爬蟲項目主導經驗者優先。
2.爬蟲與逆向核心能力：
(1)精通Python開發，熟練掌握Scrapy、requests、aiohttp、Selenium等爬蟲框架和庫。
(2)精通JS逆向：深刻理解JavaScript核心原理，能獨立處理OB混淆、VMP加固、反調試等前端保護方案。
(3)精通Hook技術：深入理解Hook原理，具備實際Web端JS Hook（如Tampermonkey、瀏覽器插件注入）和移動端Hook（Frida、Xposed）項目經驗，能實現對應用邏輯和系統函數的攔截與修改。
(4)精通網絡協議：深刻理解HTTP/HTTPS/TCP/WebSocket等協議，精通Charles、Fiddler、mitmproxy、Wireshark等抓包分析工具。
3.移動端逆向能力：熟練掌握Android逆向常用工具（Jeb, Jadx, Frida, Xposed, Apktool）。熟悉ARM匯編，具備SO庫分析和Native層代碼逆向能力。掌握靜態分析與動態調試技術，熟悉常見加密算法及逆向分析技巧。
4.架構與數據庫：熟悉分布式系統架構、消息隊列（如Kafka、RabbitMQ）及爬蟲調度方案。熟練使用MySQL、MongoDB、Redis等數據庫。
優先考慮
1.有成熟、可演示的逆向技術成果（如GitHub開源項目、含Fridahook腳本的APP逆向案例、復雜反爬攻克案例）。
2.熟悉WebAssembly (WASM) 的分析與調試，能處理WASM加密場景。
3.有移動端抓包經驗，能獨立繞過SSL Pinning（證書綁定）。
4.具備數據挖掘、機器學習基礎，能將AI技術（如LLM、圖像識別）融入反爬/數據處理場景者優先。
5.有數據庫（如PostgreSQL）插件開發或Hook經驗者優先。