Innocent is available for hire

无辜的Musanzikwa

验证专家 in Engineering

数据工程师和开发人员

Location

卡尔加里，AB，加拿大

至今成员总数

2021年8月10日

Inno是一位经验丰富的数据工程师和开发人员，在过去的十年里，他在非洲和北美的顶级零售数据分析公司iri工作，并在过去的几年里担任自由顾问. 作为SQL和ETL开发人员, 他使用行业标准技术(如Kimball和DataVaults)创建了高质量的数据仓库. 作为数据工程师, Inno使用几种最新的尖端技术，在本地和云上构建了高度健壮和可扩展的数据管道.

Portfolio

Darwill, Inc.

SQL, Tableau, Python，数据工程，数据分析，ETL，数据仓库...

SFL科学有限公司

SQL, SQL Server集成服务(SSIS)， MariaDB, Microsoft SQL Server...

航空控股有限责任公司

商业智能(BI)， SQL, api, SQL Server DBA，多维建模...

Experience

ETL - 12年数据仓库——10年 SQL - 10年数据工程——10年 Hadoop - 5年 Python - 5年 Apache Hive - 5年 PySpark - 3年

Availability

Part-time

首选的环境

SQL, PySpark, Python, Hadoop, Apache Hive, Azure突触, Oracle, SQL Server集成服务(SSIS), Azure数据工厂, 数据仓库

最神奇的...

...我设计的大数据仓库和数据集成解决方案——使用Python, SQL, ADF, Hadoop, Hive, spark从六家竞争对手中赢得了加拿大的RFP.

工作经验

Data Engineer

2022 - 2022

Darwill, Inc.

使用AWS Redshift和Aurora数据库构建Tableau仪表板和可视化.
为自定义ETL任务和临时请求创建运行Python的AWS Lambda函数.
管理AWS Redshift和Aurora数据库，设计数据仓库和数据迁移.
使用AWS技术栈重新设计了客户端的数据仓库，并通过引入运行Python管道的联邦查询和Lambda函数改进了他们的迁移过程, 以及彻底改造他们的Tableau仪表板.

技术:SQL, Tableau, Python，数据工程，数据分析，ETL，数据仓库, 亚马逊网络服务(AWS), 关系数据库, 数据清理, Data Science, Databases, PostgreSQL, AWS Lambda, 数据库开发, 数据可视化, 专用SQL池(以前称为SQL DW), Azure SQL数据仓库, 数据库建模, MySQL, 实体关系, 业务分析, 数据库设计

Data Engineer

2022 - 2022

SFL科学有限公司

就现有的SSIS设计不良的数据集成项目提供咨询，并帮助确定瓶颈和低效率.
使用SSIS重新设计现有的数据管道，以提高效率和可扩展性.
执行SQL调优和SQL代码审查以提高流程效率.

技术:SQL, SQL Server集成服务(SSIS)， MariaDB, Microsoft SQL Server, 数据转换, Python, 数据库模式设计, iPaaS, CI / CD管道, 关系数据库, 存储过程, 数据分析, t - sql (transact - sql), SQL DML, 数据库开发, 数据分析, 数据可视化, 专用SQL池(以前称为SQL DW), Azure SQL数据仓库, 数据库建模, 实体关系, Tableau, 业务分析, 数据库设计

BI和数据仓库专家

2021 - 2022

航空控股有限责任公司

设计和开发数据管道，集成来自Quickbooks API的数据, Sage完整API, 和电子表格转换成Azure SQL.
在Azure SQL中设计并开发了一个数据仓库.
使用Power BI设计和创建业务报告和KPI仪表板.
开发复杂的SQL脚本来管理数据转换和加速集成.

Technologies: 商业智能(BI)， SQL, api, SQL Server DBA，多维建模, 关系数据库, Microsoft Power BI, Cloud, Git, REST APIs, Synapse, DAX, 仪表盘的设计, Dashboards, 存储过程, Tableau, 数据分析, t - sql (transact - sql), SQL DML, 数据库开发, 数据分析, Microsoft Power automation, 数据可视化, 数据库建模, 实体关系, 业务分析, 数据库设计

迁移项目的数据分析师

2021 - 2021

JLL - JLLT数据

开发数据管道，将数据从Salesforce集成到Microsoft SQL.
设计高级SQL代码.g.、CTE、存储过程和管理数据转换的函数.
执行SQL调优以提高ETL效率和流程可伸缩性.
咨询标准操作程序和最佳情况.

技术:SQL, t - sql (transact - sql), ETL, Salesforce, 数据迁移, 关系数据库, Microsoft Power BI, SQL Server报表服务(SSRS), 存储过程, 数据分析, Google Sheets, SQL DML, 数据库开发, 数据分析, 数据库建模, 实体关系, Tableau, 业务分析, 数据库设计

总监|数据工程

2019 - 2021

IRI

开发Azure数据工厂管道，集成来自Apache Hive的数据, HDFS, OAuth 2 APIs, 和各种平面文件类型转换为Azure SQL.
管理陆上和海上大数据开发团队, 在Jira上分配任务并跟踪进度.
监督新数据源和正在进行的项目的数据策略和建议.
指导大数据工程师，帮助他们提高技能.
根据客户要求或技术变更，构建新的数据模型并升级旧的数据仓库.

技术:Python, Apache Hive, Hadoop, Azure突触, Azure数据工厂, Bash Script, SQL, Azure SQL, Databricks, 工程数据, ETL, 数据建模, Databases, Azure, Data, 数据架构, 商业智能(BI), 数据管道, Apache气流, 数据集成, Big Data, t - sql (transact - sql), 数据迁移, Snowflake, 数据构建工具(dbt), Apache Kafka, ELT, SQL Server集成服务(SSIS), 数据转换, 维度建模, 关系数据库, Microsoft Power BI, Cloud, SQL DML, 数据库开发, 专用SQL池(以前称为SQL DW), Azure SQL数据仓库, 数据库建模, 实体关系, 数据库设计

ETL Architect

2016 - 2019

IRI

在本地和云端开发基于sql的数据仓库.
集成了从平面文件到基于云的数据源(如Snowflake)的各种数据源, 将AWS和数据湖整合到Azure数据仓库, 以及Hadoop上的Apache Hive.
创建了可扩展的数据管道，提高了现有管道的效率.
培训和提高新数据开发人员的技能，并参与代码审查.
维护所有业务数据组件和策略的系统文档.

技术:SQL Server集成服务(SSIS), Azure突触, Azure数据工厂, Databricks, PySpark, SQL, Oracle, Apache Hive, Hadoop, 数据仓库设计, 工程数据, ETL, 数据建模, SQL存储过程, Databases, Data, 数据架构, 商业智能(BI), 数据管道, 数据集成, Big Data, BigQuery, JavaScript, t - sql (transact - sql), 数据迁移, Snowflake, 亚马逊网络服务(AWS), Amazon Elastic MapReduce (EMR), ELT, APIs, 数据转换, MariaDB, SQL Server DBA, 维度建模, 关系数据库, Microsoft Power BI, Cloud, REST APIs, SQL DML, 数据库开发, 专用SQL池(以前称为SQL DW), Azure SQL数据仓库, 数据库建模, 实体关系, 性能调优, Dynamic SQL

SQL首席开发人员

2012 - 2016

IRI

开发了基于sql的数据仓库和数据集市.
编写SQL查询，为SSRS报告提供数据.
根据客户端需求，ETL进程使用SSIS、Talend、DataStage.
使用SQL Server报表服务(SSRS)创建自定义业务报表.
管理初级开发人员并主持独立开发会议.

技术:SQL, SQL Server集成服务(SSIS), SQL Server报表服务(SSRS), PSQL, MySQL, 数据仓库, 工程数据, ETL, 数据建模, SQL存储过程, Databases, Data, 数据架构, 商业智能(BI), 数据管道, 数据集成, Big Data, t - sql (transact - sql), 数据迁移, ELT, 数据转换, 维度建模, 关系数据库, Microsoft Power BI, REST APIs, SSAS, 仪表盘的设计, Dashboards, SQL DML, 数据库开发, SSRS Reports, 专用SQL池(以前称为SQL DW), Azure SQL数据仓库, 数据库建模, SQL Server 2015, 实体关系, 业务分析, 性能调优, Dynamic SQL

SQL/ETL开发和顾问

2010 - 2012

Mi9零售(原JustEnough软件公司)

管理移动设备和SQL Server之间的SQL复制.
使用Kimball方法为报告目的创建SQL数据仓库.
使用SQL Server集成服务(SSIS)设计和开发ETL包.
在SQL Server报表服务(SSRS)中设计和开发报表.
对部署到生产环境中的任何代码执行数据库调优和代码审查.

技术:SQL, SQL Server集成服务(SSIS), SQL Server报表服务(SSRS), Microsoft SQL Server, 工程数据, ETL, 数据建模, SQL存储过程, Databases, Data, 数据架构, 商业智能(BI), 数据管道, 数据集成, Big Data, t - sql (transact - sql), 数据迁移, 数据转换, 关系数据库, Microsoft Power BI, SSAS, SQL DML, 数据库开发, SSRS Reports, 数据库建模, SQL Server 2015, 实体关系

Experience

从Azure SQL到Snowflake的数据迁移

http://github.com/innowarue/ADF

该项目涉及使用Azure data Factory数据管道将数据从Azure SQL数据库迁移到Snowflake数据仓库. 根据我的技能和对数据工厂的熟练程度，我花了几分钟来创建它.

我用我的Azure和Snowflake帐户替换了真实的数据源，以便在不损害机密性的情况下公开提供项目.

来自OAuth2 API的数据集成

我创建了一个自动化的数据管道，将可通过基于oauth2的API以JSON格式访问的数据集成到基于云的数据仓库解决方案中. 该解决方案在Databricks上使用Python和Spark集成到Azure数据工厂管道中.

SQL Server复制到移动设备

我创建了一个复制系统，在移动设备和微软SQL Server之间同步数据. 现场销售代表将从现场收集信息, 使用SQL CE将其上传到SQL Server，并通过我设置的移动复制从SQL Server下载任何更新.

就地数据集成的收购

我为一家公司的收购和合并创建了一个就地ETL集成, 将两家公司的数据整合到一个仓库中，同时不断向客户服务和零售服务团队提供每周报告.

Kafka流和数据集成

我创建了一个自动化的数据管道来集成通过Kafka流访问的数据, 使用Spark和Python将其导入到Spark Streaming中，并通过Hive数据仓库解决方案将其加载到Cloudera Hadoop文件系统中.

Skills

Languages

SQL, Python, Bash Script, t - sql (transact - sql), Snowflake, 存储过程, SQL DML, Scala, JavaScript, Bash

Frameworks

Hadoop, Spark, Windows PowerShell, ADF

库/ api

PySpark, REST api, Spark Streaming

Tools

Microsoft Power BI, Tableau, BigQuery, Synapse, SSAS, Apache气流, Amazon Elastic MapReduce (EMR), Git, Google Sheets

Paradigms

ETL, 商业智能(BI), 维度建模, 数据库开发, 数据库设计, Data Science

Platforms

亚马逊网络服务(AWS), AWS Lambda, Azure SQL数据仓库, 专用SQL池(以前称为SQL DW), Azure, Microsoft Power automation, Azure突触, Oracle, Databricks, Apache Kafka, Salesforce, Zeppelin

Storage

Apache Hive, MySQL, SQL Server集成服务(SSIS), SQL Server报表服务(SSRS), PSQL, Microsoft SQL Server, SQL存储过程, PostgreSQL, Databases, 数据管道, 数据集成, 关系数据库, 数据库体系结构, RDBMS, 数据库建模, Dynamic SQL, NoSQL, SQL Server DBA, 数据库复制, Azure SQL, MariaDB

Other

Azure数据工厂, 数据仓库, 数据分析, 工程数据, Data, 数据架构, Big Data, 数据迁移, ELT, 数据仓库设计, 数据转换, 数据库模式设计, ETL Tools, 脚本语言, 数据分析, 数据可视化, SSRS Reports, SQL Server 2015, 实体关系, 业务分析, 性能调优, 数据建模, Cloud, APIs, 仪表盘的设计, Dashboards, Web Scraping, 数据构建工具(dbt), iPaaS, CI / CD管道, DAX, 数据清理, Azure砖

Education

2013 - 2015

信息技术学士学位

南非大学-比勒陀利亚，南非

认证

2023年8月- 2025年8月

Databricks注册数据工程师助理

Databricks

2023年8月- 2025年8月

SnowPro Core

Snowflake

2020年12月- 2022年12月

认证Apache Spark和Hadoop开发人员

Cloudera

2019年12月至今

用Hive分析大数据

LinkedIn学习

2019年12月至今

数据科学高级NoSQL

LinkedIn学习

有效的合作

如何使用Toptal

在数小时内，而不是数周或数月，我们的网络将为您直接匹配全球行业专家.

分享你的需求

在与Toptal领域专家的电话中讨论您的需求并细化您的范围.

选择你的才能

在24小时内获得专业匹配人才的简短列表，以进行审查，面试和选择.

开始你的无风险人才试验

与你选择的人才一起工作，试用最多两周. 只有当你决定雇佣他们时才付钱.

对顶尖人才的需求很大.

Start hiring