AI와 컴퓨터 공학

RAG 기술 > 전문성을 가진 챗봇 개발에 유용하겠다는 생각이 든다. 엉드루 블로그 보고 대충 이해했는데 기술적으로는 대충 이런 내용인 것 같다. 전문성을 가진 문서(재무제표, 법률 문서, 정보를 담은 문서 등)을 청크 > 임베딩 > 벡터 DB에 저장 모델에 질문 시 해당 질문과 높은 의미론적 유사성을 가진 정보를 벡터 DB에서 가져와 프롬프트에 끼워넣어 질문하는 방식 정확한 정보 전달이 중요한 질의응답 형식의 챗봇에 많이 쓰이겠다는 생각이 많이 든다.

예외 처리와 같이 기본적이지만 실제로 잘 지키지 않는 것들이 많다. 결국, 예외처리를 하는 이유 예상치 못한 에러를 유저에게 그대로 노출시키지 않게 함 > 프로그램 정상 작동하게 하기 위해서 에러 원인 파악이 더 쉬워지는 것도 있다. 모든 코드의 Flow가 어찌보면 if else에 의해 분기하면서 흘러가는 데 예외적인 상황에 대해서 말 그대로 처리하는 것이다.

async/await 비동기 함수 사용하는 이유 동기적으로 처리하면 한번에 하나의 요청만 처리 서버에 여러 개의 API 요청이 오면 한번에 하나씩 기다려야 함 비동기로 처리하면 하나를 처리하는 동안 다른 일도 같이 할 수 있음 트래픽이 커질수록 중요

BERT 모델 구축해서 Regression 최종 예측하는 모델 만들고 있는데 모델의 성능을 높이기 위해서 느낀 점을 기록해봤다. 기본이 중요하다. 얼마나 Fancy한 모델을 사용하는지, 모델 구조나 그 외 하이퍼파라미터 들은 성능에 크게 영향을 주지 않는다. 예) 모델 Layer를 크게 만든다던가, Optimizer, learning rate를 바꾼다던가 간단한 모델이라도 Task에 맞는 구조와 사용해야 될 때를 정확히 알고 쓸 때 훨씬 효과적 AI 엔지니어들은 이렇게 조금씩 삽질해가면서 그런 노하우를 경험적으로 터득하는 것 같다. 예) 0~1 사이의 점수를 예측하는 Regression이니 활성화 함수도 0~1 사이를 내는 Sigmoid 함수가 더 효과적 early_stopping에 사용하는 valid_dataset을 train_dataset으로 해버리니 과적합 문제가 발생했었음 이를 수정하니 0.4 > 0.5로 상관계수 증가 결국, 문제는 데이터다. 처음 결과가 잘 나오지 않았을 때, 고민하다가 데이터 처리 과정을 들여다보니, 임베딩 데이터를 잘못 잘라서 넣고 있음을 깨달았다. (pandas csv 불러올 때 처음 column을 header로 인식해서 임베딩 에세이 데이터가 조금씩 밀렸었음) Loss가 크게 추론한 샘플에 대해서 왜 그런지 들여다보는 것도 좋은 방법 분류 문제의 경우, 대체로 Loss가 크게 나온 데이터 카테고리가 부족해서 많이 생김 데이터셋의 카테고리가 얼마나 고르게 분포되어 있는지도 매우 중요

실제 실습해보는 게 제일 빠르게 배우겠다 https://subicura.com/k8s/guide/kubectl.html#kubectl-%E1%84%86%E1%85%A7%E1%86%BC%E1%84%85%E1%85%A7%E1%86%BC%E1%84%8B%E1%85%A5