테키테크 TEKITECH

"오늘부터 IT를 시작합니다." 이 책의 제목이다. 이게 무슨 말일까? 국립국어원에서 제공하는 우리말샘에서는 '아이티(IT)'와 '시작하다'를 다음과 같이 정의한다. 이를 종합해보면 IT를 시작한다는 것은 '정보 통신 기술'의 '처음' 단계를 이루는 것을 의미한다고 볼 수 있다. 그렇다면 정보 통신 기술이란 무엇일까? 초고속 인터넷, 이동 통신, 소프트웨어, 데이터베이스, 멀티미디어 등 정보 통신 기술이라고 하는 이 용어들은 무엇을 의미하는 걸까? 질문이 꼬리를 물기 시작하니 IT를 '시작'하는 일은 점점 미궁으로 빠지는 것 같다. 그럼에도 점점 컴퓨터가 없으면 안 되는 환경으로 바뀌고 있는 만큼 컴퓨터의 'ㅋ'자만 봐도 숨이 턱턱 막히는 사람들도 이젠 IT 지식에 목말라한다. 같은 딜레마에 빠진 사람에..

빅데이터 시대라는 이름처럼 거의 모든 곳에서 데이터로부터 얻는 인사이트를 중요시하고 있다. 하지만 아무리 좋은 데이터를 많이 가지고 있어도 누군가에게 데이터의 의미와 가치를 제대로 전달하려면 특별한 방법이 필요하다. 데이터를 분석하고 해석하는 일은 항상 해오던 일이었다. 학생 때는 발표 자료나 논문을 위해, 창업에 도전했을 땐 시장성, 고객 반응, 성과 등의 자료로 성공적인 IR을 위한 자료를 완성하기 위해 셀 수 없이 많은 데이터로부터 이야기를 끌어냈었다. 이렇듯 학생, 교육자, 연구원, 직장인, 사업가 등 누구나 해왔던 일이다. 이러한 능력은 '데이터 리터러시'라는 이름을 붙이면서 더 많은 관심이 쏟아지고 있다. 엔지니어로 일하고 있는 지금도 대시보드를 포함해 다양한 데이터 시각화 작업을 하고 있다...

데이터 분석에 대한 관심이 높아지면서 데이터 분석을 시도하려는 학생 또는 실무자가 늘고 있다. 하지만 여전히 데이터 분석을 어떻게 시작해야 하는지 몰라 헤매는 사람들이 많다. 데이터 분석을 하고자 엑셀 자격증을 따거나 프로그래밍 언어를 공부하는 등의 노력과는 별개로 데이터를 제대로 알아가는 과정은 어렵기만 하다. 데이터 분석의 영역이 ML/DL까지 범위를 넓혀가고 있는 만큼 진입장벽만 높아지는 것 같기도 하다. 이 책이 좋은 점은 엑셀이라는 익숙한 도구로도 데이터 분석을 할 수 있도록 알려주어 진입장벽을 낮춰주었다는 것에 있다. 데이터 분석을 하고자 수학을 다시 공부하기 부담스러워 덮어버린 책이 많은데 이 책은 통계 이론부터 엑셀을 활용해 예시를 들어주기 때문에 훨씬 소화하기가 편하다. 엑셀, R, 파이..

머신러닝을 실무에서 활용하기 위해서는 생각보다 많은 기술이 필요하다. 특히 모델을 연구하는 것과 이를 실서비스에 적용하는 것의 간극은 아직은 낯선 개념이기 때문에 머신러닝과 엔지니어링을 균형 있게 이해하는 능력이 중요하다고 생각한다. 머신러닝과 엔지니어링을 다 잘하는 ML 계의 풀 스택 엔지니어도 실제로 존재하지만, 꼭 둘 다 완벽하게 잘해야 하는 건 아니다. 보통은 한 분야의 전문가가 다른 한 분야를 공부하면서 균형을 찾아가는 것 같다. 이 책은 여느 전공 책보다 얇아서 쉽게 다가갈 수 있었던 것 같다. 모든 것을 자세하게 설명해주지는 않지만, 필요한 개념은 빠짐없이 언급한다. 그리고 실무에서 상황에 따라 어떤 고민이 필요한 지 제시해준다. 예를 들어, 'Java로 구현해야 한다'라고 하지 않고, '이..

5장과 6장에서는 프로듀서와 컨슈머의 내부 동작과 원리, 그리고 구현 방법을 다룬다. 한 번에 모두 소화하기는 쉽지 않아서 우선 프로듀서 내부 동작 원리를 이해하는 것만을 목표로 5장을 공부해보았다. 목차 프로듀서와 카프카 배치 전송 방식과 개선 전략 1. 지연시간 최소화: 라운드 로빈 전략과 스티키 파티셔닝 전략 2. 압축 전송 3. 중복 없는 전송 4. 정확히 한 번 전송 프로듀서와 카프카 카프카는 성능 향상을 위해 병렬 처리를 지향한다. 따라서 메시지는 토픽 별로 관리하고, 토픽은 최소 하나 또는 둘 이상의 파티션으로 나누어 구성하며, 각 파티션의 데이터는 용량에 따라 로그 세그먼트로 나누어 저장한다. 반면 프로듀서는 빠르고 안정적인 성능을 위해 배치 처리, 압축 전송 등의 방식으로 트래픽을 최소화..

정원 가꾸기의 즐거움 헤르만 헤세 산문집 헤르만 헤세 지음 | 반니 | 2019년 12월 30일 출간 취미로 식물을 키운 지 2년이 다 되어간다. 처음 들였던 식물은 물 주기를 잊었거나 물을 너무 많이 줘서 다 죽고 없다. 그래도 미련이 남아 계속 새로운 식물을 들이다 보니 지금은 화분이 열몇 개가 있다. 식물을 키우는 것은 사실 아주 고되다. 분이 조금만 커져도 들기에 버겁도록 무겁고, 예쁜 화분일수록 더하다. 벌레는 끊임없이 꼬이고, 조금만 물 조절을 잘못해도 과습으로 병들어버린다. 그래도 필요한 것만 잘 챙겨주면 하루가 다르게 파릇파릇 자라는 게 뿌듯하다. 그리고 몸이 힘들다 보니 그동안은 어떤 잡념이든 다 비우고 머리를 식힐 수 있다. 그래서인지 식물 그 자체보다도 식물을 가꾸는 시간을 더 좋아한..

SEND YOUR NAME TO MARS 2026년 7월에 화성으로 출발하는 우주비행선에 나 대신 타고 갈 내 이름 아래에서 신청할 수 있다. Send Your Name to Mars mars.nasa.gov 아래는 호기심 채우기용 TMI 이름을 어떻게 보내는 건지 찾아보니 이름을 저장한 메모리 칩 3개를 탐사선 옆에 붙여서 보낸다고 한다. 2020년 화성탐사선과 함께 보낸 이름 칩 정보 요약

앞서 카프카의 기본 개념과 구조를 이해하고, 실습 환경을 구축해보았다. 이번 장에서는 카프카 기본 명령어를 사용해 실습을 진행하며 리플리케이션 동작과 리더-팔로워 역할, 리더에포크, 컨트롤러, 로그 및 로그 컴팩션 등 핵심 내부 동작의 원리를 공부해보려고 한다. 목차 카프카 리플리케이션 카프카의 기본 도구 토픽과 세그먼트, 그리고 리플리케이션 [실습 1] kafka-topics.sh 명령어로 토픽 생성 [실습 2] 토픽 상세 정보 확인 [실습 3] 콘솔 프로듀서를 이용해 토픽에 메시지 전송 [실습 4] 세그먼트 파일로 리플리케이션 확인 로그 세그먼트 관리 방법 [실습 5] 로그 세그먼트 삭제 메세지 일관성 유지 전략 1. 리더-팔로워 역할 분리 2. ISR과 컨트롤러 [실습 6] controlled sh..