崗位職責： 1.研發爬蟲工具?：負責業務需求的數據采集與爬取、解析處理、入庫及備份等數據工作。 2.研究Web、APP反爬策略，攻克技術難點，破解反爬機制，優化爬蟲路由調度策略，同時負責反爬策略的設計及優化； 3. 負責爬蟲核心算法的策略優化研究，提升爬蟲抓取效率和質量，提升數據抓取的效率和質量； 4. 設計爬蟲策略和防屏蔽規則，解決封賬號、封IP、驗證碼、JS加密等難點攻克； 5.數據清洗與整合?：對抓取到的數據進行清洗、去重、格式化等預處理工作，確保數據的準確性、完整性和一致性。 6.?技術研究與創新?：跟蹤*新的爬蟲技術、數據處理算法及GIS領域的發展動態，特別是三維數據的相關技術，不斷探索并引入新技術以提升工作效率和數據質量。 任職要求： 1. GIS、遙感、計算機、軟件工程相關專業，本科及以上學歷。 2. python基礎扎實，熟練掌握Java、C++中至少一種，有爬蟲開發經驗者優先。 3. 熟練使用Scrapy、BeautifulSoup、Selenium等爬蟲框架和工具，精通爬蟲相關技術(requests/xpath/scrapy/正則表達式/驗證碼加密處理/代理池)，熟悉js加密，了解python常見執行js方法；熟悉常用反爬應對方法,熟悉模擬器使用和爬取。 4. 熟悉地理信息相關知識，對地理信息基礎算法熟練掌握，深入了解GIS數據格式（如Shapefile、GeoJSON、KML、OSGB、3D Tiles等）及空間數據庫（PostGIS、SpatiaLite等）的使用。 5. 熟悉常見地理信息數據發布服務，如WMS、WMTS、WFS等。 6. 具備良好的數據處理能力，熟悉Pandas、NumPy、GDAL等數據處理庫，以及三維數據處理工具。 7. 具有良好的學習能力，有良好的團隊意識及責任心，有良好的抗壓能力。