工作经历
上海仁义礼智信数据科技有限公司成都分公司 - 数据分析工程师成都市
2022/04 - 至今
成都市智慧蓉城项目
- 负责数据交换、数据处理、数据分析等工作,对多种数据源进行整合、清洗和分析;
- 利用 Python和R,开发数据分析模型,为项目提供深度洞察和决策支持;
- 利用 Python和R编写自动化数据处理脚本,将复杂任务利用代码简单化,显著降低了工作量,大大减少了重复性人工操作;
- 利用Python和R对数据进行数据挖掘、分析、可视化等,根据分析结果给出决策建议;
- 负责数据处理过程中的API接口工作,验证接口的可用性、安全性,对问题接口定位问题原因,提供加、解密方案。同时也利用Python的FastAPI框架对外提供数据接口;
- 在Linux操作系统上进行数据交换的后台维护,熟悉常见的Linux命令,对数据交换过程的Bug进行定位并解决;
- 熟悉Hadoop、HDFS、Hive、Spark等分布式大数据组件;
- 参与制定数据处理流程和标准,确保数据质量和安全性,协调数据需求和解决方案,推动项目顺利进行。
教育经历
电子科技大学成都学院 - 统招本科 / 学士学位数据科学与大数据技术
2019/09 - 2021/07
Python、Hadoop、HDFS、Hive、HBase、Spark
专业技能
数据挖掘/治理/分析
- 熟练使用Python、R、SQL等语言,能够综合运用统计理论知识,结合Python和R语言进行数据分析。擅长利用R的Tidyverse进行数据整理、清洗、分析和可视化,提高数据处理效率和可读性。(类似于Python的Numpy与Pandas)
- 熟练编写Python和R语言的数据自动化处理代码脚本,提高工作效率。
- 熟悉Hadoop、HDFS、Hive、Spark等分布式大数据系统工具,具备在大数据环境下进行数据处理和分析的能力,能够有效管理和处理海量数据。
- 熟悉Linux、Git、Docker等系统和工具。
- 了解机器学习常见算法,能够应用于数据分析和模型构建中。
个人项目
爬虫:利用Python监控某网站最新公告以及定时“抢号”任务
个人项目,通过利用Python编写脚本,实现对某网站最新公告的监控和执行定时任务。该项目包括两个主要功能:
- 最新公告监控: 使用Python定时请求目标网站的后台API,检查最新公告是否有更新。如果有更新,通过Server酱或Dingding Bot等API接口将最新公告消息推送到微信上。
- 定时任务:模拟利用Python Requests库请求API,处理好可能出现的异常情况,并使用tenacity库来实现在请求出现异常时重复尝试,直到成功为止。
Python 结合 OpenAI和NLP 实现“词找句”翻译
个人项目,利用NLP,并且结合了OpenAi的API,通过某单词找出所有相关的英文句子并翻译成中文。解决了某些单词 App 不能提供的功能,即将单词出现的所有句子找出来并翻译成中文。
场景:利用NLP,从海量英语文章中找到包含指定单词(包括其变形的单词)的句子,利用 OpenAI API 将找到的英文句子翻译成中文或其他语言。这个工具使用了 OpenAI 的 GPT-3.5-turbo 模型,理解和生成自然语言文本,用于将英文句子翻译成中文;自然语言处理(NLP)库,使用了 NLTK(Natural Language Toolkit)库中的 sent_tokenize 函数,用于将原文拆分成句子。
证书
第九届蓝桥杯大赛(C/C++)四川省三等奖
工业互联网平台开发工程师初级
计算机三级合格证书
其他
大学专业成绩优秀,排名Top前3.3%,专业基础扎实,曾多次获得国家级、校级奖学金和省级算法竞赛奖。
具备使用一切有利工具解决工作难题的能力,工作认真负责,积极学习计算机互联网领域的新技术和知识。