崗位職責：
1. 負責設計、開發、維護、重構分散式的網路爬蟲， 包括調度、抓取、維護、驗證等爬蟲工作；
2. 負責抽取演算法和資料庫建模的調研和設計， 保證抽取、去重、分類、解析、增量融合入庫等流程之後的資料結果；
3. 根據產品的資料需求， 調研資料來源， 給出爬取建議， 調研並建立資料模型， 優化演算法和工作流程。
崗位要求
1. 電腦相關專業本科以上學歷；
2. 至少2年以上在Linux服務上做開發的經驗， 至少1年以上爬蟲、搜索、資料庫建模的開發經驗， 熟練掌握Java/Python/C/Go任意程式設計語言， 優先考慮Python；
3. 精通爬蟲抓取原理及技術， 熟悉搜尋引擎，
4. 熟悉關聯式（mysql/postgresql）、非關係型數據庫（mongodb/cassandra/hbase/elasticsearch）、緩存資料庫（redis/memcached）， 有過建模和使用經驗；
5. 具有分散式、多執行緒/協程/進程的程式設計經驗， 有可證明的良好編碼習慣， github有個人項目加分；
6. 邏輯思維優秀， 有良好的溝通能力和語言表達能力。