崗位職責(zé)：
負(fù)責(zé)設(shè)計和開發(fā)高性能、高可用的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，保障數(shù)據(jù)采集的效率和穩(wěn)定性；
使用Elasticsearch構(gòu)建搜索和分析系統(tǒng)，實現(xiàn)海量數(shù)據(jù)的快速檢索與聚合；
基于MongoDB/Redis設(shè)計數(shù)據(jù)存儲方案，優(yōu)化數(shù)據(jù)庫性能及查詢效率；
對接阿里云OSS等對象存儲服務(wù)，管理非結(jié)構(gòu)化數(shù)據(jù)資源；
參與LLM（大語言模型）相關(guān)項目的開發(fā)，包括數(shù)據(jù)預(yù)處理、特征工程及API集成；
持續(xù)優(yōu)化系統(tǒng)架構(gòu)，解決高并發(fā)、分布式場景下的技術(shù)難題。
任職要求：
本科及以上學(xué)歷，計算機(jī)相關(guān)專業(yè)，3年以上Python開發(fā)經(jīng)驗；
精通Scrapy/Requests/BeautifulSoup等爬蟲框架，熟悉反爬機(jī)制破解（驗證碼識別、IP代理等）；
熟練掌握以下至少兩種數(shù)據(jù)庫技術(shù)：
Elasticsearch（索引設(shè)計、分詞優(yōu)化、聚合查詢）
MongoDB（副本集、分片集群、聚合管道）
Redis（數(shù)據(jù)結(jié)構(gòu)、持久化、集群模式）
熟悉阿里云OSS/S3等對象存儲服務(wù)，了解文件分片上傳和CDN加速；
有LLM項目經(jīng)驗者優(yōu)先（如：LangChain應(yīng)用、RAG系統(tǒng)開發(fā)、Prompt工程等）；
熟悉分布式系統(tǒng)設(shè)計，了解Celery/Dask等異步任務(wù)框架；
良好的編碼習(xí)慣，能獨立完成技術(shù)方案設(shè)計和文檔編寫。
加分項：
有千萬級數(shù)據(jù)爬取或處理經(jīng)驗
熟悉Kubernetes/Docker容器化部署
了解機(jī)器學(xué)習(xí)基礎(chǔ)算法和框架（PyTorch/TensorFlow）