[Q&A] 빅데이터는 통계학과나 수학과에서 다루는 건가요?

빅데이터는 통계학과나 수학과에서 다루는 건가요?

---

Q: 형 빅데이터에 대해서 찾아봤는데 프로그래머도 빅데이터를 다루나요?

A: 응 프로그래머도 빅데이터 관련해서 프로그래밍을 하기도 하지.

Q: 근데 제가 찾아봤는데 빅데이터를 다루려면 통계학과나 수학과를 나와야 좋다고 하더라고요.

A: 그것도 틀린 말은 아니지.

Q: 그러면 제가 통계학을 공부한 것도 아니고 수학과를 나온 것도 아닌데 빅데이터 전문가가 될 수 없는 거 아닌가요?

A: 빅데이터를 다루는 사람과 빅데이터 프로그램을 설계하는 사람은 달라.

---

한국에서 컴퓨터 공학과를 다니는 브로와 이야기를 나누던 중에 질문한 내용이다. 사실 빅데이터 전문가는 데이터를 분석하고 다룰 수 있는 능력이 있어야 하기에 통계학과나 수학과에서 많이 지원하는 분야이다. 그렇다 보니 브로와 같이 컴퓨터 공학과를 나와서 빅데이터 전문가로 분야를 희망하는 학부생들은 고민이 많아진다. 통계학과나 수학과의 학생들만큼 빅데이터 전문가로서 필요한 자질이 부족하지 않을까 걱정이 되기 때문이다. 하지만 컴공과를 나온 학생들도 빅데이터 전문가가 되는 데 있어서 충분한 이점을 가지고 있다고 생각한다.

---

# 빅데이터의 구조와 알고리즘을 정하는 건 개발자의 몫이다.

 

이 포스트를 처음 작성한 2019년도에는 빅데이터 분야 또는 데이터 사이언스 분야에 대한 세분화가 확고하게 정해져 있지 않았다. 예를 들면 빅데이터의 경우에는 빅데이터 전문가와 빅데이터를 프로그래밍 하는 개발자 정도만 대중적으로 세분화하여 나눠져 있었다.

2019년에 작성된 원본 포스트

하지만 2022년 현재에는 데이터 사이언스 분야만 하더라도 크게 3가지 분류군을 가지고 나눠져 있으며, 데이터 사이언스 내에서도 각 분야에 대한 분업화와 전문화가 이루어졌다. 따라서 이 질문을 했던 브로가 말하는 "빅데이터 전문가"는 현재에서는 빅데이터 분석가나 데이터 분석가에 해당한다. 빅데이터 분석가나 데이터 분석가는 데이터 분석에 필요한 프로그래밍에 대한 기본 지식을 요구하지만 데이터를 수집, 가공하는 과정에서 필요한 프로그래밍 구조 자체를 다루거나 데이터를 관리하기 위한 효율성 부분을 다루지는 않는다. 그렇다 보니 Computer scinece 전공이 아닌 비전공자들도 많이 관심을 가지고 공부하는 분야가 바로 빅데이터 분석가 또는 데이터 분석가에 해당한다.

 

빅데이터 안에 들어가는 데이터 자체의 전반적인 부분을 다루는 분야는 데이터 엔지니어링과 데이터 사이언스에 해당한다. 빅데이터를 만들기 위해서는 데이터를 어떤 식으로 수집과 가공을 하고 관리를 할 것인지에 대한 구조 자체를 구성하는 개발자가 필요하며, 만들어진 빅데이터를 꾸준히 유지 관리하며 알고리즘을 통해 원하는 최적의 결과를 산출해내는 개발자도 필요하다.

 

한마디로 데이터 분석가와 데이터 엔지니어링, 그리고 데이터 사이언스 분야가 하는 역할이 조금씩 다르다. 최종적으로 빅데이터와 같이 데이터를 다루는 일을 한다는 건 동일하지만 데이터를 다루는 데 있어서 하는 역할과 깊이 정도가 다르다. 그럼에도 기본적으로 알고 있어야 하는 부분은 동일하다는 점에서 이 질문을 했던 컴공과 브로도 충분히 데이터 분석가가 될 수 있다.

---

# 기본적인 데이터 분석 프로그래밍을 알아야 한다.

 

데이터 분석가가 되기 위해서는 통계학에 대한 부분을 잘 알고 있어야 하지만 프로그래밍을 다룰 줄 알고 있어야 한다. 이 점에서 수학과나 통계학과 브로들이 기본적인 프로그래밍도 아닌 데이터 분석에 대한 프로그래밍을 배우려다 보니 힘들어하는 게 사실이다. 반면에 컴공과 학생들의 경우에는 프로그래밍에 대한 기본 지식이 있다 보니 데이터 분석에 필요한 기본적인 프로그래밍 지식을 습득하고 적용하는데 훨씬 더 수월하다. 다만 아쉬운 점은 Computer science 전공이 아닌 Computer engineering 전공인 이 브로의 경우에는 통계 알고리즘에 대한 부분을 추가적으로 공부를 해야 한다. CS 전공자의 경우에는 이 부분을 학부 수업에서 배우지만 CE 전공자의 경우에는 메케닉 쪽에 조금 더 집중을 하다 보니 통계 알고리즘 부분을 공부하지 못했을 수도 있다. 만일 통계학에 대한 부분이 부족하다고 느껴진다면 이 부분에 대해서는 추가적으로 공부를 하면 충분히 데이터 분석가가 되는데 메리트가 있다고 본다.

---