들어가기 앞서
2023년, 가히 제 인생의 최고점이라고 할 수 있는 한 해입니다.
빠르게 회고해보자면 다음과 같아요!
- 23년의 작은 목표들
- “나”를 채우다
- 데이터 엔지니어의 시작
1. 23년의 작은 목표들: 3가지 목표, 그 결과는
2023년 회고 글에서 2023년의 목표를 세웠습니다.
- 블로그 데이터 기반의 파이프라인 작성하기
- 블로그에 조금 더 열심히 기록하기
- 운전면허 따기
각 목표에 대해 되돌아보겠습니다.
블로그 데이터 기반 파이프라인 작성: 작고 소중한 방문객 수…
이 목표는 2023년 4월부터 5월 동안 진행했습니다.
다음의 시리즈 글을 통해 확인 가능합니다.
- [블로그 데이터 파이프라인 만들기] 시리즈
하지만 당시에 간과한 사실이 2가지 있었습니다…
첫 번째는 **"Github 블로그는 검색엔진이 크롤링하지 않는다"**는 점입니다.
그래서 이후 추가적으로 구글의 웹마스터도구 서비스인 search console에 등록했습니다.
[그림01] 구글 search console
2024년 현재 글의 작성 기준으로는 제가 직접 블로그를 들어오는 횟수와 구글 검색으로 들어오는 횟수가 비등비등한 수준이 되었답니다 :)
등록 과정에 대해서는 추후 더 상세히 다뤄보겠습니다.
두 번째는 "파이프라인을 작성할 만큼 데이터가 많지 않다"는 점입니다.
일일 방문 수가 평균 1명이 되지 않아 사실상 데이터가 쌓이지 않고 있습니다.
그래서 평균 1명을 넘기는 시점이 온다면 본격적으로 파이프라인을 구성할 계획입니다.
블로그에 조금 더 열심히 기록하기: 조금 더 열심히 했어야 한다!
일주일에 1개의 글을 작성하는 것이 목표였습니다.
상반기 동안 열심히 생각하고 적고 다듬으며 어느 정도 성공했는데요.
23년 10월 경부터 새로운 업무를 시작하면서 이에 적응할 시간이 필요했습니다…
회사를 핑계로 나태함에 빠진 점은 상당히 아쉽습니다.
운전면허 따기: 🚗 🚗
가장 먼저 달성한 목표입니다!
고대하고 고대하던 면허를 땄습니다!!
오토바이를 빌려 혼자 여행을 다녀오기도 하는 등 생활의 반경이 늘어났다는 장점이 확실하게 느껴집니다.
2. “나”를 채우다
작년 한 해는 “나”를 채우는 한 해였습니다.
구체적으로는 다음과 같은 일이 있었습니다.
해외여행 in 태국 🇹🇭
인생 첫 해외여행으로 태국을 다녀왔습니다.
6일 동안 휴양지, 도시, 야시장, 유적지 등 다양한 곳을 방문했습니다.
[그림02] 태국 아유타야의 왓 마하탓
새로운 풍경, 새로운 사람들, 새로운 먹거리.
모든 것이 신선하게 다가왔고 모든 것이 재밌게 느껴졌습니다.
여유가 된다면 다시 한 번 해외를 다녀오고 싶습니다..!!
운동 🏃
거창해보이지만 사실 운동의 시작은 유튜브 동영상이었습니다.
도구 없이 할 수 있는 영상을 보며 하루에 10~15분 정도의 운동을 시작했는데요.
러닝을 좋아하는 지인의 권유로 10월 10km 마라톤을 연습해 완주했습니다.
[그림03] 10km 달리기 기록
또 턱걸이를 해보고 싶어 연습한 끝에 정자세로 수 회까지 가능해졌습니다!!
건강한 몸과 더 건강한 정신을 만들 수 있는 최고의 활동입니다!!
3. 데이터 엔지니어의 시작
글 작성 시점에 저는 크라우드웍스에서 근무 중입니다.
올 여름까지만 해도 DE와 큰 관계 없는 업무에 여러가지 고민이 많았습니다.
하지만 앞서 언급했듯 조금씩 연관된 업무를 시작했습니다.
CDC 파이프라인 추가: Data Engineer 맛보기
CDC(Change Data Capture)는 “DB의 변화 상태 기록”을 의미합니다.
이와 대비되는 개념으로는 Snapshot이 있으며 자세한 내용은 정리 중입니다….ㅎㅎ
크라우드웍스에서는 이 과정을 MySQL -> Kafka -> BigQuery 라는 파이프라인으로 구성했습니다.
저는 그 사이에서 CDC 대상 테이블이 늘어났을 때의 작업을 수행했습니다.
Kafka 토픽 생성, Consumer 애플리케이션 수정, Debezium Connector 추가, BigQuery 테이블 생성 및 삽입 등 일련의 과정을 따라갔는데요.
지식이 한계로 인해 많~~~은 삽질을 했지만 우선은 추가에 성공했습니다.
이에 대한 내용도 차차 정리해보겠습니다.
DB ~ DW ~ Dashboard로 이어지는 파이프라인 구축
Database ~ DW ~ Dashboard로 이어지는 파이프라인의 중 일부를 구축했습니다.
구체적으로는 Database ~ DW로 이어지는 파이썬 모듈을 작성했습니다.
MySQL Connection과 같은 정말 기초적인 개념을 이제서야 배웠습니다.
또한 테스트의 중요성에 대해서도 깨닫게 되었구요.
역시 아직은 갈 길이 멀다고 느껴집니다.
2024년에는 무엇을 할까??
다시 한 번 새해 계획을 세울 시간입니다.
🔧 데이터 엔지니어로써 관련된 시스템 만들어보기
2023년은 제가 추구하는 데이터 엔지니어의 시작점이 되었습니다.
2024년에는 보다 주도적으로 시스템을 구성해보고 싶습니다.
DW의 설계, 시스템의 구축 등등 재밌는 일을 할 수 있기를 바랍니다!
📚 꾸준히 독서하기
학교를 졸업한 이후 책에 먼지가 켜켜이 쌓여가더군요…
그래서 올해 목표 중 하나로 독서를 잡았습니다.
천천히 이해될 때까지 읽은 다음 간단한 독후감으로 마무리해보려구요!
최소 2달에 1권은 읽는 것이 목표입니다!!
🎧 새로운 취미 시작하기
새로운 취미를 시작하는 것이 마지막 목표입니다!
운동 또는 악기 중 고민 중인데 아무래도 가장 어렵지 않을까 싶습니다.
가능하다면 새롭게 만든 취미에 대해서도 조금은 기록하고 싶네요~!
그래서, 이번 한 해도 다시 달려봅시다!!
이 글을 보는 여러분 모두모두 2023년 열심히 달리느라 수고 많으셨습니다..!!
2024년은 🐉청룡🐉의 해라고 하더라구요!!
하늘을 누비는 용처럼 모두모두 기운차고 끊임없이 날아다니는 한 해가 되기를 소망합니다!! 😊
Comments powered by Disqus.