Developer/Data Science 4

Fast API 로 3시간만에 추천 서버 만들기 (implicit, docker, gitlabCI)

목차 1. Fast API 를 도입할 절호의 기회가 왔다. 2. Implicit 을 통한 추천 결과 얻어내기 3. 로컬 환경에서 Fast API 서버로 추천 결과 받기 4. 도커(docker) + 깃랩CI (gitlab ci) 로 배포 자동화 5. 아쉬운 점과 Future work #FastAPI #Implicit #추천서버 #도커 #깃랩CI 1. Fast API 를 도입할 절호의 기회가 왔다 소규모 스타트업이 으레 그러하듯이 새로운 언어, 새로운 기술을 사용하는 것은 개발자의 욕심이 없으면 진행조차 되기 어렵다 (legacy 살려줘...). 우리 팀도 typescript 로 모든 코드 베이스가 짜져있었고, 파이썬 코드는 내가 합류한 뒤 아주 작은 모듈 정도만 존재하고 있었다. 하지만 나 역시 pytho..

[데이터 사이언티스트의 길] 컴퓨터를 전공하는 학생입니다.

인공지능이 우리 생활에 더 깊숙히 스며들면서, 데이터 사이언티스트가 되고자 하는 사람들도 많아지고 있습니다. 가끔 후배들에게 진로에 대해 조언을 해줄 기회가 있는데, 기회가 될 때마다 블로그에 "데이터 사이언티스트의 길" 이라는 제목으로 적어보려고 합니다. 실무에서 경험하는 현실과 취업을 준비하는 분들의 정보의 차이가 꽤나 많다는 걸 알게 되었고, 저도 더 좋은 조언을 해주고자 기록을 하는 것이니 이 시리즈가 많은 분들에게 도움이 되었으면 하는 바람입니다. 방학 시즌에 할 수 있는 데싸 준비 대학생의 경우 방학때 정말 많은 일들을 할 수 있는데, 데이터 사이언티스트로서 역량을 기르고 싶다면 어떻게 해야할까요? 어떻게 준비하느냐에 따라 크게 2가지, 무엇을 준비하느냐에 따라 2가지로 나누어 볼 수 있겠습니..

한달 10만원으로 추천시스템 구축하기 [AWS Personalize 도입 후기 / python SDK]

목차 0. 소규모 스타트업에서 추천시스템을 만드는 어려움 1. AWS Personalize 외않써? 2. 데이터 전처리 방법 3. AWS Personalize 자동화 (Python SDK 이용) 4. 가성비 좋게 서빙하는 방법 Batch inference 5. 한계와 Future work 0. 소규모 스타트업에서 추천시스템을 만드는 어려움 개발자 3명 이하의 초기 단계의 스타트업은 항상 리소스가 부족하다. 서비스 출시를 위해 앱, 서버, 인프라 개발만 해도 부족한데, 요즘 서비스에는 필수로 들어간다는 추천시스템까지 구축할 수 있는 스타트업은 많지 않다. 역량있는 데이터 사이언티스트를 초기 멤버로 데려올 수 있는 팀도 ( 제품의 핵심이 데이터 사이언스인 경우는 제외 ) 거의 없기 때문에 초기 스타트업에서 ..

Developer/Data Science 2021.04.15 (4)

python scrapy 를 활용한 웹 크롤링/스크래핑 - 1

개발 환경 MacOS Catalina python 3.9 들어가며... 먼저 용어부터 깔끔하게 정리하자. 웹 크롤링이라는 용어가 웹 사이트들을 돌아다니는 것 자체를 의미한다면, 웹 스크래핑이 우리가 생각하는 웹 사이트들의 정보를 모으는 것을 의미한다. 우리가 사용할 framework 인 scrapy 도 웹 스크래핑을 위해 태어난 프레임워크이다. 여기서 드는 의문점 왜 Beautifulsoup 안쓰나요? - 안다. 유명한거. 그렇지만 몇번의 리서치 결과 나는 프로젝트 단위에서 자주 사용 + 성능 이슈 때문에 scrapy 를 선택하게 되었다. 관련된 내용은 아래 이미지를 참고하자. (출처 영어 주의) 아무래도 scrapy 가 프레임워크의 성격을 갖고 있는지라, 초기에 세팅하는데에 진입장벽이 조금 있다. 그래..

Developer/Data Science 2020.12.21 (2)