（自驅(qū)力強(qiáng)的可遠(yuǎn)程）
【崗位職責(zé)】
1. 數(shù)據(jù)采集開發(fā)與維護(hù)
負(fù)責(zé)核心平臺（Instagram, Threads, Facebook 等）數(shù)據(jù)采集爬蟲的開發(fā)和迭代維護(hù)。
確保采集任務(wù)的穩(wěn)定運(yùn)行，及時(shí)響應(yīng)和處理線上問題。
2. 反爬策略攻堅(jiān)
應(yīng)用 AI 工具和專業(yè)技能，攻克目標(biāo)網(wǎng)站的反爬策略、認(rèn)證管理和速率限制等技術(shù)挑戰(zhàn)。
3. 系統(tǒng)與邏輯實(shí)現(xiàn)
參與分布式采集架構(gòu)（基于 Scrapy）的實(shí)現(xiàn)和優(yōu)化。
根據(jù)設(shè)計(jì)方案，開發(fā)任務(wù)調(diào)度、狀態(tài)同步等后端業(yè)務(wù)邏輯。
實(shí)現(xiàn)高效的數(shù)據(jù)處理 Pipeline，優(yōu)化數(shù)據(jù)庫寫入性能。
4. AI 能力集成
根據(jù)需求，集成 LLM API 實(shí)現(xiàn)用戶畫像分析、內(nèi)容挖掘等功能。
協(xié)助優(yōu)化 AI 分析流程中的數(shù)據(jù)鏈路和結(jié)構(gòu)化輸出（Structured Output）。
5. 系統(tǒng)運(yùn)維與監(jiān)控
參與系統(tǒng)架構(gòu)的持續(xù)演進(jìn)和優(yōu)化。
監(jiān)控系統(tǒng)運(yùn)行狀態(tài)，分析日志排查問題。

【任職要求】
一、必備技能
1. AI 協(xié)同與工程能力 (*重要)
熟練掌握并重度使用主流 AI 編程工具。
具備優(yōu)秀的 Prompt Engineering 能力，能夠利用 AI 高效解決復(fù)雜的編程和分析問題。
2. 核心技術(shù)棧
熟悉 Python 及 Scrapy 框架核心組件（如 Middleware, Pipeline）及工作原理。
熟悉 PostgreSQL 基本操作及 SQLAlchemyM 使用。
熟悉 Redis 的基本使用。
3. 基礎(chǔ)環(huán)境與工具
熟悉類 Linux 系統(tǒng)下的開發(fā)環(huán)境。
熟悉 Git 基本操作。
二、加分項(xiàng)
1、熟悉 Instagram、FaceBook、Twitter、TikTok 等海外主流社交媒體平臺的 API 和反爬機(jī)制
2、熟悉認(rèn)證池管理、代理輪換、速率限制等反爬技術(shù)
3、熟悉 Nodejs 和 Playwright
4、有 Scrapy 分布式爬蟲架構(gòu)實(shí)戰(zhàn)經(jīng)驗(yàn)
5、有復(fù)雜 PostgreSQL 邏輯（如觸發(fā)器、函數(shù)）開發(fā)/維護(hù)經(jīng)驗(yàn)
6、具備前后端開發(fā)能力
7、了解 Python 異步編程（asyncio）
8、有 LLM/AI 集成經(jīng)驗(yàn)（熟悉 API 調(diào)用、結(jié)構(gòu)化輸出處理、Prompt/Schema 管理）
9、有開源項(xiàng)目貢獻(xiàn)或技術(shù)博客撰寫經(jīng)驗(yàn)

備注：
1、本崗位為內(nèi)部技術(shù)團(tuán)隊(duì)招聘，注重實(shí)際解決問題能力而非學(xué)歷背景和理論知識。
2、我們推崇并鼓勵(lì)團(tuán)隊(duì)成員積極使用 AI 工具優(yōu)化工作流，提升開發(fā)效率。
3、我們鼓勵(lì)在面試中深入討論技術(shù)方案和架構(gòu)設(shè)計(jì)。