AWS 3

Ubuntu 20.04 (EC2/Lightsail) 초기 세팅 [docker/gitlab runner]

AWS 인스턴스를 사용하는 방법은 정말 다양해서 무엇이 옳다, 그르다 할 수 없지만, 개인적인 생각으로는 EC2나 Lightsail 위에 작업중인 코드를 직접 올리지 않는 dockerize 방식이 마음에 들어 쭉 사용해오고 있다. 회사의 여러 이슈로, 지난 반년간 EC2 셋업을 여러번 하면서 세팅 명령어를 계속 구글링하는 나 자신을 발견하면서, 이를 내 블로그 글로 하나 정리해두는게 좋겠다는 생각을 했다. 나는 크게 2가지를 세팅하고, 세팅 이후에는 ssh 접속을 최소화 시키는 편이다. 1. docker 설치 2. gitlab-runner 설치 이렇게 2가지를 세팅해두면, gitlab CI 파이프라인 -> docker compose 로 이어지는 파이프라인을 통해서 ssh 접속을 최소화 시킬 수 있다. 옵..

한달 10만원으로 추천시스템 구축하기 [AWS Personalize 도입 후기 / python SDK]

목차 0. 소규모 스타트업에서 추천시스템을 만드는 어려움 1. AWS Personalize 외않써? 2. 데이터 전처리 방법 3. AWS Personalize 자동화 (Python SDK 이용) 4. 가성비 좋게 서빙하는 방법 Batch inference 5. 한계와 Future work 0. 소규모 스타트업에서 추천시스템을 만드는 어려움 개발자 3명 이하의 초기 단계의 스타트업은 항상 리소스가 부족하다. 서비스 출시를 위해 앱, 서버, 인프라 개발만 해도 부족한데, 요즘 서비스에는 필수로 들어간다는 추천시스템까지 구축할 수 있는 스타트업은 많지 않다. 역량있는 데이터 사이언티스트를 초기 멤버로 데려올 수 있는 팀도 ( 제품의 핵심이 데이터 사이언스인 경우는 제외 ) 거의 없기 때문에 초기 스타트업에서 ..

Developer/Data Science 2021.04.15 (7)

AWS EC2/Lightsail 에 Gitlab-runner 세팅하기

gitlab-runner 가이드대로 설치하는데, 막상 CI 를 돌려보면 안돼서 남기는 포스팅 케이스 1, docker 관련 permission denied Solution # docker 그룹에 gitlab-runner 유저를 넣어준다. sudo usermod -aG docker gitlab-runner # docker 를 재시작한다 sudo service docker restart 케이스2. 위와 같은 에러가 떴을때 Solution # 요 파일을 삭제해준다 sudo rm -rf /home/gitlab-runner/.bash_logout 도움이 되셨다면 카누 한잔 어떠신가요? 카누로부터 돈을 받지는 않았지만 제가 카누를 좋아합니다. “파트너스 활동을 통해 일정액의 수수료를 제공받을 수 있음"