Data Engineering

처음이라 GUI로 차근차근 작업해봄 EC2 (하나의 컴퓨터 서버), Lambda 함수 코드 하나 실행(이용 시간, 횟수만큼 돈 받음 > 더 간단하고 저렴) AWS Secret Manager > Secret 등록 Lambda 코드 실행 > 외부 라이브러리 zip 파일 Layer 등록 zip 파일 root 디렉토리 명이 python이어야 함(이것때문에 고생...) python3.11 v-m venv venv cp venv/python3.11/lib/site-packages/ python zip -r layer.zip python 생성된 zip 파일 AWS lambda > Layers > 새로운 Layer 생성 다시 Lambda function 돌아와 Layer 등록 다음부턴 이것도 CLI로 자동화해야지...

참고할 만한 책 (C언어 기반 또는 저수준 구현에 도움되는 책들) 1. "Designing Stock Market Trading Systems" by Bruce Vanstone 실전 트레이딩 시스템을 설계하는 방법론에 중점. C 언어 자체 예제는 적지만 전략의 구조와 시스템 구성에 대한 기초를 잡는 데 좋음. 2. "High-Frequency Trading: A Practical Guide to Algorithmic Strategies and Trading Systems" by Irene Aldridge 시스템 아키텍처, 리스크 관리, 백테스트 등 종합적인 가이드. 주로 Python/C++에 기반한 개념 설명이 많지만, C로 포팅하려는 사람에게도 구조 참고용으로 좋아. 3. "Modern C" by Jens Gustedt 고성능 C 코드를 쓰기 위해 메모리 관리, 멀티스레딩, 저지연 설계 등에 도움. HFT에서 중요한 성능 최적화를 위한 C 문법을 정교하게 익히고 싶다면 추천. 4. "Linux Systems Programming" by Robert Love HFT는 종종 POSIX/Linux 커널 레벨에서 돌아가는 ultra-low latency 시스템을 요구해. 이 책은 C로 Linux 시스템 호출, 멀티스레딩, socket 프로그래밍 등을 잘 설명함. 5. "Network Programming with C" 네트워크 레벨에서 빠른 거래소 연결을 구현하고 싶을 때 아주 유용. 특히 UDP multicast, TCP low-latency tuning 같은 주제를 다루는 책이면 HFT에 딱임. 📘 논문/기술문서 FIX Protocol Specification: 거래소와 연결할 때 사용하는 표준 프로토콜. C로 직접 FIX 클라이언트를 구현할 수도 있어. NASDAQ OUCH, ITCH Protocol Docs: 초고속 거래소 프로토콜 문서. 직접 packet-level에서 구현하려면 필수.

왜 .dockerignore가 중요할까? 이미지 크기 줄이기: 예를 들어 node_modules, logs, test results 같은 건 보통 이미지에 필요 없죠. 빌드 속도 향상: 빌드 컨텍스트에 포함된 파일이 적을수록 Docker가 더 빨리 이미지를 빌드해요. 보안: .env 파일이나 API 키 같은 민감한 정보가 이미지에 포함되는 걸 방지할 수 있어요. 📁 예시 dockerignore 복사편집 node_modules *.log Dockerfile.dev .env .git __pycache__/ 이 예시는 다음 파일/폴더들을 Docker 컨텍스트에서 제외해요: node_modules 폴더 전체 모든 .log 파일 개발용 Dockerfile 환경변수 파일 Git 관련 정보 파이썬 캐시 🛠 언제 적용되냐? .dockerignore는 Docker가 빌드 컨텍스트를 보낼 때 적용돼요. 예를 들어: bash 복사편집 docker build -t myapp . 이 명령어를 실행하면 현재 디렉토리(.)를 컨텍스트로 사용하죠. 이때 .dockerignore가 적용되어, 지정된 파일은 Docker 데몬에 전달되지 않아요

chatGPT 질문: 여기서 FROM apache/airflow:2.10.5 COPY requirements.txt . RUN pip install --no-cache-dir "apache-airflow==${AIRFLOW_VERSION}" -r requirements.txt dockerfile에서 requirements.txt . ../requirements.txt . ../../requirements.txt . 모두 잘 돌아가. 이유가 뭐야? 좋은 질문이야! 너가 말한 것처럼 Dockerfile에서 COPY requirements.txt ., COPY ../requirements.txt ., COPY ../../requirements.txt . 세 가지 다 잘 돌아간다고 했는데, 사실 그게 가능한 이유는 바로 docker-compose.yaml의 build.context 설정 덕분이야. 🔍 핵심 요약: yaml 복사편집...

오늘 회사에서 cursor AI 유료 구독을 지원해줘서 한번 써봤는데... 진짜 너무 놀랐다. 이걸 지금 알았네 그동안 내가 개발할 때 AI를 사용한 방식은 코드를 복붙해서 chatGPT에 사용하는 방식이었다. 그것만으로도 성능이 만족스러웠기에 별 생각 없이 잘 사용했었는데 cursor AI는 전체 프로젝트의 모든 코드를 읽고 질문을 하기 때문에 훨씬 퀄리티가 올라간다. 말하자면 에러나 잘못된 생성이 훨씬 적고, 프로젝트의 컨벤션, 변수명을 모두 고려해서 작업하기 때문에 내가 추가적으로 손이 덜 가게 되는 것 같다. 지금도 대학원 코딩 과제 cursor AI 써서 하고 있는데 내가 한 건 AI한테 write code 만 입력한 게 끝이다 ㅋㅋ +잘 썼는지 검증만 눈으로 슥슥... write code, write code, write code... ㅋㅋㅋ 잠깐 따른 얘기를 하자면 컴퓨터 공학의 정수는 ...