전체 글

보호되어 있는 글입니다.

#️⃣1. 이진 부호화 ✅1.1. 이진 부호화 데이터를 파일에 쓰거나 네트워크를 통해 전송 혹은 메모리를 공유하지 않는 다른 프로세스로 일부 데이터를 전송하려면 바이트열 형태로 부호화해야 한다. 부호화 == 직렬화 == 마샬링 복호화 == 파싱 == 역직렬화 == 언마샬링 ✅1.2. 이진 부호화 라이브러리 비교 '스피프트'와 '프로토콜 버퍼'이진 부호화 라이브러리를 사용하려면 부호화할 데이터를 위한 스키마가 필요하다. 각각 스키마 정의를 상용해 코드를 생성하는 도구가 있다. 1.2.1 스리프트 (Thrift) # 스리프트 스키마 struct Person{ 1: required string userName, 2: optional i64 favoriteNumber, 3: optional list intere..

#️⃣ [1] 깔끔한 DAG 작성 1.1. 스타일 가이드 사용 PEP8 스타일가이드 및 구글과 같은 회사 가이드 맟추기 : 변수/클래스/함수 이름 지정 스타일등에 대한 권장 사항 pylint와 flake8과 같은 정적 코드 검사기로 코드 품질 확인 YAPF, Black과 같은 파이썬 코드 포맷터 사용하여 공통 포맷 적용함 Airflow 코드 스타일 규칙에 맞추기 DAG 정의 스타일 2가지 : 콘텍스트 매니저 사용 및 사용 X Task 종속성 표기법 1.2. 중앙에서 자격 증명 관리 Airflow 메타스토어에서 자격증명 가져오기 혹은 배포 방법에 따라 보안 정보를 외부 시스템에 저장 1.3. 구성 세부 정보 일관성 있게 지정하기 파일 경로나 테이블명과 같은 DAG 구성 정보는 전역변수(DAG내), 구성파일..

책 '데이터 중심 애플리케이션 설계' - 3장. 저장소와 검색을 읽고 정리한 글입니다. #️⃣ 1. 인덱스(색인) 1-1. 정의 데이터베이스에서 특정 키의 값을 효율적으로 찾기 위한 데이터 구조 어떤 부가적인 메타 데이터를 유지하는 것으로, 이정표 역할을 해서 데이터 위치 찾는데 도움을 줌 기본 데이터에서 파생된 추가적인 구조 쉽게 말해 책의 목차 대부분 데이터베이스는 색인 추가와 삭제 허용 색인은 데이터베이스 내용에는 영향을 주지 않지만, 질의 성능(읽기 속도 향상)에만 영향줌 특정 테이블의 컬럼 검색 시, 테이블의 레코드를 full scan하는 것보다, index화되어 있는 index 파일을 검색하여 질의 성능 향상 시킴 특히 쓰기 과정에서 오버헤드 발생함 이는 저장소의 ‘트레이드 오프’ ⇒ 색인 잘..

⭐핵심 요약 DAG 무결성 테스트와 개별 단위 테스트 설명 중점적임 책에서는 대중적으로 많이 쓰이고 격리 기능 포함된 pytest를 이용하여 설명함 [ 참고 ] 보통 단위 > 통합 > 승인 테스트 순서로 진행함 테스트는 각각 격리된 환경에서 진행되어야 한다. ⇒ 이를위해 목업을 이용 (pytest-mock)=> (목업은 특정 작업이나 객체를 모조로 만드는 것) #️⃣ DAG 무결성 테스트 (with. CI/CD) 모든 DAG의 무결성 (e.g. DAG에 사이클 있는지 여부, DAG의 task id 고유한 경우 등) 검사한다. 이때 CI/CD 파이프라인을 이용하여 변경된 DAG코드를 지속적으로 확인 및 검증 후 프로덕션 환경으로 배포할 수 있게 한다. 과정 pytest 설치 프로젝트 최상단 폴더에 별도에 ..

2023년 회고와 2024년 계획 2023.12.20 나는 작년 이맘때쯤 2022년 회고글(블로그)을 올리며 2023년 계획을 세웠었다. 글을 작성한지 벌써 1년이 지났다는게 믿기지 않지만, 내가 얼마나 계획한 대로 잘 살았는지 체크해보며 2023년을 회고해보자 ☀️ 작년에 세운 2023년 계획 ☀️ 1. 알고리즘 공부 (취업하려면 코테 공부해야지!) → ✅실천 중 2. 1일 1커밋 혹은 블로그 작성을 꾸준히 하며 공부 기록하기 → ✅실천 중 3. 동아리에서 하는 DE 팀 프로젝트와 개인으로 진행하는 PBL DE 프로젝트는 꼭 완성하자 →✅성공! 동아리 팀플젝은 했지만 PBL프로젝트는 안함. 대신 부트캠프하며 DE스러운 프로젝트 진행함 4. 인턴이나 취업 꼭 하자 → 🥲실패. 시도 중 5. 교환학생을 갈..