[책리뷰] 견고한 데이터 엔지니어링

이 책을 보자마자 데이터 엔지니어 필독서로 유명한 「빅데이터를 지탱하는 기술」이라는 책이 떠올랐다. 아직 두 책 모두를 완벽하게 소화하지는 못했지만 그래도 비교해 보니 몇 가지 차이점이 보였다.

1. 「견고한 데이터 엔지니어링」은 「빅데이터를 지탱하는 기술」 보다 더 최신 데이터 엔지니어링에 대한 정보를 담고 있다.
「빅데이터를 지탱하는 기술」의 원서는 2017년에 최초로 발행되었고, 「견고한 데이터 엔지니어링」의 원서는 2022년에 최초로 발행되었다.

2. 「견고한 데이터 엔지니어링」은 「빅데이터를 지탱하는 기술」 보다 두껍다.
「빅데이터를 지탱하는 기술」은 312쪽, 「견고한 데이터 엔지니어링」은 552쪽이다.

3. 「빅데이터를 지탱하는 기술」은 빅데이터를 다루는 특별한 방법에 대한 내용이고, 「견고한 데이터 엔지니어링」은 데이터 엔지니어링 수명 주기에 대한 내용이다.
「빅데이터를 지탱하는 기술」은 기존의 데이터와 구별되는 빅데이터의 특징을 알고, 그것에 맞게 사용할 수 있는 특별한 기술을 설명한다.
반면 「견고한 데이터 엔지니어링」은 데이터의 생성, 저장, 수집, 변환, 서빙 등을 다루는 데이터 엔지니어링 수명 주기를 중점적으로 다룬다.

「빅데이터를 지탱하는 기술」은 얇고, 쉽게 읽히며, 빅데이터의 중요한 컨셉을 이해하기 쉽게 설명해 준다는 점에서 여전히 추천할 만한 책이다. 하지만 앞으로는 실무에서 좀 더 와닿는 내용을 빽빽하게 담고 있는 「견고한 데이터 엔지니어링」을 더 자주, 많이 보게 될 것 같다. 데이터 엔지니어링을 다루는 책은 많지 않다. 그런 중에 이런 보물 같은 책이 나와주어 참 감사하다.

견고한 데이터 엔지니어링 (Fundamentals of Data Engineering) / 한빛미디어

이 책에서는 데이터 엔지니어를 데이터 분석가, 데이터 과학자, MLOps/ML 엔지니어, 그 외 모든 이해관계자를 '지원'하는 역할이라고 정의한다. 실제로 데이터 엔지니어라고 부르는 모든 사람이 똑같은 일을 하고 있지는 않다. 데이터 엔지니어링을 하다 보면 필요에 의해서 이런 일도 하고, 저런 일도 하는 상황이 종종 생기기 때문이다. '지원하는 역할'이라는 의미에서 생각해 보니 오히려 당연한 현상일 수 있겠다고 생각하게 되었다. 앞으로는 좀 더 열린 마음으로 데이터 엔지니어링을 알아가려고 한다.