爬虫岗位职责
在快速变化和不断变革的今天，各种岗位职责频频出现，明确岗位职责能让员工知晓和掌握岗位职责，能够最大化的进行劳动用工管理，科学的进行人力配置，做到人尽其才、人岗匹配。想必许多人都在为如何制定岗位职责而烦恼吧，下面是小编为大家整理的爬虫岗位职责，欢迎阅读，希望大家能够喜欢。
爬虫岗位职责1岗位职责
1.熟悉线程池、并发机制、锁机制、线程安全原理；
2.java体系知识：网络io、设计模式、linux、jvm、java类加载机制、java内存模型；
3.爬虫经验：webmagic、adsl拨号、正则表达式、脱壳技术、加密、图片破解、二维码识别、滑块验证码破解、httpclient、分词、分布式爬虫调度、数据质量监控、代理ip调度算法、配置化爬虫、授权爬虫、舆情、应用市场、反爬；
4.熟悉http/http、tcp/ip、socket等通讯协议；
5.6年以上软件开发经验，至少2年爬虫开发经验。
任职要求
1.采集、清洗、监控、配置化、调度、反爬、数据爬取、分词、检索等数据采集研发；
2.较强的逻辑思维和发散思维；
3.计算机或相关专业本科及以上学历。
爬虫岗位职责2职位描述：
工作职责：
1.开发网页自动化脚本。
2.负责商品信息结构化，编写自动化脚本解析网页 ……此处隐藏1778个字……重等工作
任职要求：
1、2年及以上网络爬虫开发经验，本科及大专学历，计算机相关专业，
2、积极、沟通顺畅，工作认真负责
3、扎实的编程能力，熟悉常用算法和数据结构等基础知识
4、熟练掌握开发语言java或c/c++，熟悉脚本语言和正则表达式
爬虫岗位职责12职责描述：
1.参与爬虫系统的架构设计与开发；
2.负责执行和开发分布式网络爬虫系统，进行多平台信息的抓取和分析；
3.负责网页信息和app数据抽取、清洗、消重等工作，提升平台的抓取效率；
4.参与爬虫核心算法和策略优化，熟悉采集系统的调度策略；
5.实时监控爬虫的`进度和警报反馈。
任职要求：
1.本科以上学历，3年以上爬虫开发相关经验，熟练使用python或java进行开发；
2.熟练使用正则表达式、css path、xpath等，能够从结构化的和非结构化的数据中获取信息；
3.熟练使用mysql数据库，掌握redis、mongodb、hive等常用nosql技术并具有实战经验；
4.熟悉各种抓取技术，包括代理、phantomjs/selenium、验证码处理；
5.熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验；
6.具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先；
7.快速学习能力，工作积极主动，有创业热情和良好的团队协助能力；
8.需要有大量数据爬取以及高难度反爬经验，没有相关经验的勿扰。
