2017.02-2019.08
0.5年电商系统Java开发经验/2年金融大数据、气象大数据、第三产业大数据开发经验
2019.02-2019.08
(大数据开发)
任职公司：广州幻主简历有限责任公司
项目名称：杭州银行大数据平台
项目描述：公司承接了杭州银行金融风控平台的开发工作。开发完成的模块有：风险查询，用户真实性查询，事件管理，黑名单展示，监控警告，用户管理，权限管理等。项目集合了传统ERP系统的功能，并整合了大数据架构及相关技术，通过GBDT+LR算法构建模型有效对风险进行预估，并对涉黑用户进行预警和管理。
软件环境：spark、flume、hbase、solr、zookeeper
系统架构：
一、将本行存储在Oracle数据库中的现有用户信息，黑名单信息同过ftp服务器可将dbf文件下载到HDFS当中 ；
二、通过用户手机号确定通讯地址，GPS确定用户所在位置，APP权限获取wifi位置，IP地址等，这些类直接整合成字段，下沉到Hive表；
三、基特征工程与用户画像进行基于规则的金融风控系统；
四、基于邻接点算法的社交网络设计。
项目职责：
1.将人行征信（企业及个人），联网核查身份信息，公安部对外集中查控等第三方数据整合进Hive中去 ；
2.对上述信息进行特征工程，对字段进行更细粒度的划分，并建立新表；
3.建立风险查询服务；
4.定期对老数据进行清洗，空出更多的存储空间；
5. 将特征工程代码上传到服务器，并及时更新业务相关代码；
6.同设备客户数大于N的设备、IP距离大于N公里且为新开账户、SIM卡号与IP距离大于N公里、短时间内注册数太多、频繁调整额度进行标注，用户发出预警，并延长审核时间，将有信用污点的用户加入黑名单；
7.建立实时业务线，整合内存数据库Memo-cache,Spark Streaming,并利用内存和SSD建立索引和存储服务，提高并发能力；
8.建立线下预警业务，不允许黑名单和满足反欺诈规则用户线下申请；
9.利用邻接点算法计算用户影响及权重；
10.利用接口读取到的通话记录，通讯录，社交媒体等信息建立社交网络。
2018.06-2019.01
(大数据开发)
任职公司：广州幻主简历有限责任公司
项目名称：气象数据实时处理平台
项目描述：本项目基于spark-streaming的流式处理功能，实现了实时统计自动站各要素观测值的功能，并提供了实时查询各种要素统计数据的服务，为预报员和其他气象工作人员提供了精准的自动站实况和要素统计数据。
软件环境：spark、flume、hbase、solr、zookeeper
系统架构：
一、本项目采用了flume技术，spark-streaming技术、CDH技术和hbase技术；
二、flume技术完成自动站数据从观测台站到CDH平台的实时发送；
三、spark-streaming技术实现对自动站数据的流式处理和要素统计的并行化处理，以提高运算时效；
四、hbase为系统提供数据存储服务，CDH技术为系统提供平台支撑和运行环境。
项目职责：
1. 负责将自动站原始数据转为离散流对象序列进行入库操作；
2. 负责自动站常规要素中的温度极值，风极值以及的实时统计；
3. 参与Hbase的二级索引的构建工作。
