崗位職責：
1、【全網(wǎng)數(shù)據(jù)采集與競品監(jiān)測】
負責通過 Python + RPA 工具 實現(xiàn)對目標網(wǎng)站、社交平臺、電商平臺、新聞媒體等渠道的數(shù)據(jù)采集與自動抓取；
搭建通用爬蟲框架，支持對競品動態(tài)、營銷活動、電商價格、品牌新聞、用戶評論、行業(yè)資訊、抖音/B站等平臺視頻數(shù)據(jù)的高頻采集；
參與制定數(shù)據(jù)源監(jiān)控方案，識別有效渠道、鏈接規(guī)則、更新頻率，保障數(shù)據(jù)完整性與時效性。
2、【品牌輿情與內(nèi)容監(jiān)控】
實現(xiàn)品牌關鍵詞、熱詞、負面詞匯、輿情事件等的自動化監(jiān)控，及時觸發(fā)預警并生成日報/周報；
集成搜索引擎、問答平臺（如百度、知乎、小紅書）、社交媒體（微博、微信、抖音等）內(nèi)容源，實現(xiàn)內(nèi)容聚合；
開發(fā)并維護自動化 關鍵詞配置、數(shù)據(jù)分類、情感打標簽、相似文章聚合等機制。
3、【數(shù)據(jù)清洗、存儲與交付】
對采集數(shù)據(jù)進行清洗、結構化、去重、分類、轉碼等處理，輸出規(guī)范格式（如 CSV/Excel/JSON/API）；
對接數(shù)據(jù)庫或中臺接口，自動化入庫、上傳、定時任務調度，保障數(shù)據(jù)穩(wěn)定供給；
支持數(shù)據(jù)產(chǎn)品/BI團隊的數(shù)據(jù)使用，配合輸出看板原始數(shù)據(jù)與數(shù)據(jù)字段說明。
4、【流程自動化與工具運維】
運用 RPA 工具進行頁面操作模擬、賬號登錄、驗證碼識別等自動化處理；
配合業(yè)務團隊開發(fā)內(nèi)部輔助工具（如一鍵采集腳本、內(nèi)容檢測工具、關鍵詞監(jiān)測助手等）；
維護自動采集任務調度、異常報警機制、任務日志追蹤與系統(tǒng)健康巡檢。
崗位要求：
1、本科及以上學歷，計算機科學、軟件工程、信息管理等相關專業(yè)；
2、3 年以上 Python 開發(fā)經(jīng)驗，具備網(wǎng)頁爬蟲/自動化采集項目經(jīng)驗；
3、熟練掌握 Python 核心庫（如 requests, BeautifulSoup, lxml, Selenium, Playwright, pandas, schedule, openpyxl 等）；
4、熟悉網(wǎng)頁結構、AJAX異步加載、反爬策略（User-Agent、IP代理、驗證碼識別、動態(tài)參數(shù)等）及應對方案；
5、具備HTML/XPath/CSS Selector/正則表達式能力，能快速定位并提取網(wǎng)頁信息；
6、熟悉基本的數(shù)據(jù)清洗與結構化處理流程，具備良好數(shù)據(jù)格式意識（如 JSON/CSV/Excel 格式處理）；
7、有項目經(jīng)驗使用MySQL/PostgreSQL/MongoDB等數(shù)據(jù)庫者優(yōu)先；
8、熟悉自動化工具（如 Airflow / cron / Windows Task Scheduler / RPA框架）者優(yōu)先；
9、有良好的代碼規(guī)范、任務管理能力，能主動排查問題并保障腳本長期穩(wěn)定運行。