비동기

BERT 모델 구축해서 Regression 최종 예측하는 모델 만들고 있는데 모델의 성능을 높이기 위해서 느낀 점을 기록해봤다. 기본이 중요하다. 얼마나 Fancy한 모델을 사용하는지, 모델 구조나 그 외 하이퍼파라미터 들은 성능에 크게 영향을 주지 않는다. 예) 모델 Layer를 크게 만든다던가, Optimizer, learning rate를 바꾼다던가 간단한 모델이라도 Task에 맞는 구조와 사용해야 될 때를 정확히 알고 쓸 때 훨씬 효과적 AI 엔지니어들은 이렇게 조금씩 삽질해가면서 그런 노하우를 경험적으로 터득하는 것 같다. 예) 0~1 사이의 점수를 예측하는 Regression이니 활성화 함수도 0~1 사이를 내는 Sigmoid 함수가 더 효과적 early_stopping에 사용하는 valid_dataset을 train_dataset으로 해버리니 과적합 문제가 발생했었음 이를 수정하니 0.4 > 0.5로 상관계수 증가 결국, 문제는 데이터다. 처음 결과가 잘 나오지 않았을 때, 고민하다가 데이터 처리 과정을 들여다보니, 임베딩 데이터를 잘못 잘라서 넣고 있음을 깨달았다. (pandas csv 불러올 때 처음 column을 header로 인식해서 임베딩 에세이 데이터가 조금씩 밀렸었음) Loss가 크게 추론한 샘플에 대해서 왜 그런지 들여다보는 것도 좋은 방법 분류 문제의 경우, 대체로 Loss가 크게 나온 데이터 카테고리가 부족해서 많이 생김 데이터셋의 카테고리가 얼마나 고르게 분포되어 있는지도 매우 중요

실제 실습해보는 게 제일 빠르게 배우겠다 https://subicura.com/k8s/guide/kubectl.html#kubectl-%E1%84%86%E1%85%A7%E1%86%BC%E1%84%85%E1%85%A7%E1%86%BC%E1%84%8B%E1%85%A5

zsh 설치 및 적용 https://nesoy.github.io/articles/2017-03/ZSH zsh theme agnoster 적용 자동 완성 extension https://shanepark.tistory.com/423

아래 내용들에 대해 공부하고 틈틈이 블로그에 작성해 볼 예정... 현업에서 어떻게 라이브러리 의존성을 관리하고 이를 주기적으로 업데이트하고 있는가? 키워드: dependabot https://chatgpt.com/share/67860181-4334-800e-a60b-30d799f0dcf4 github PR review 요청 시 slack에서 리뷰 메세지 올라오는 hook 토스 블로그에서 리뷰어 설정하는 내용 참고해보자 requests 관련 깨달음 끄적 https --> http 바꾸니 Max Retry Error 해결된다... DART OpenAPI 공모주/실권주 청약 일정 Kakaotalk API 연결 알림 자동화 프로그램 AWS Cloud Free Tier 1년 사용해보기 1년 뒤에는... 저렴한 요금으로 갈아타기 배포 서버에서 poetry 가상 환경을 사용할 이유 x > 바로 pip 사용하는 것이 나을 듯함 배포 서버는 이미 컨테니어로 라이브러리 및 python 환경이 분리되어 있음 개발 서버에서 poetry + tensorflow 설치해서 하려고 하니 여러 문제가 발생 tensorflow의 경우, cuda, cudnn 버전 관리가 까다로움. 설치 시 자동으로 맞춰지는 것 같다.