崗位職責：
設(shè)計和開發(fā)高效，可擴展的數(shù)據(jù)爬蟲系統(tǒng)，以收集、清洗和整合網(wǎng)絡(luò)上的大規(guī)模數(shù)據(jù)。
負責研究和分析網(wǎng)絡(luò)資源，制定有效的數(shù)據(jù)抓取策略。
能夠處理反爬蟲策略，包括但不限于IP代理、驗證碼識別等。
提供數(shù)據(jù)結(jié)果，支持數(shù)據(jù)分析和機器學習等后續(xù)步驟。
與數(shù)據(jù)科學家、業(yè)務(wù)分析師和其他開發(fā)人員緊密合作，理解并滿足他們的數(shù)據(jù)需求。
關(guān)注并應用一般的Web安全實踐，尊重目標網(wǎng)站的Robot.txt指引。
崗位要求：
本科及以上學歷
精通Python等至少一種程序語言，具有使用Scrapy，BeautifulSoup等爬蟲工具的經(jīng)驗。
理解HTML，CSS，JavaScript及Web瀏覽器DOM結(jié)構(gòu)。
熟悉網(wǎng)絡(luò)爬蟲技術(shù)，包括動態(tài)頁面抓取、反封鎖/IP代理等。
對大數(shù)據(jù)處理和存儲有一定的了解和實踐，比如Hadoop，Spark，MongoDB等。
具備良好的問題解決能力，能獨立處理問題，并有持續(xù)學習和自我提升的動力。
對數(shù)據(jù)抓取的合法性、道德性等有深厚的理解，能制定和遵循嚴格的數(shù)據(jù)抓取原則。