Python 5

Fast API 로 3시간만에 추천 서버 만들기 (implicit, docker, gitlabCI)

목차 1. Fast API 를 도입할 절호의 기회가 왔다. 2. Implicit 을 통한 추천 결과 얻어내기 3. 로컬 환경에서 Fast API 서버로 추천 결과 받기 4. 도커(docker) + 깃랩CI (gitlab ci) 로 배포 자동화 5. 아쉬운 점과 Future work #FastAPI #Implicit #추천서버 #도커 #깃랩CI 1. Fast API 를 도입할 절호의 기회가 왔다 소규모 스타트업이 으레 그러하듯이 새로운 언어, 새로운 기술을 사용하는 것은 개발자의 욕심이 없으면 진행조차 되기 어렵다 (legacy 살려줘...). 우리 팀도 typescript 로 모든 코드 베이스가 짜져있었고, 파이썬 코드는 내가 합류한 뒤 아주 작은 모듈 정도만 존재하고 있었다. 하지만 나 역시 pytho..

Developer/Data Science 2021.06.08 (2)

[무료공개] 파이썬(python) 설치, 파이참(pycharm) 설치

제가 현재 크몽에서 판매하고 있는 정가 3만원의 전자책 (https://kmong.com/gig/310621)중 파이썬, 파이참 설치하는 방법을 무료로 공개하고자 합니다. 파이썬을 이용해 블로그에 글 자동 업로드하는 법 알려 드립니다. | 15000원부터 시작 가능한 총 9개 총 작업 개수 완료한 총 평점 5점인 DQSchoolOfLife의 취업·투잡, 전자책·노하우 서비스를 9개의 리뷰와 함께 확인해 보세요. 취업·투잡, 전자책·노하우 제공 등 15000원부터 시작 가능한 서비스 kmong.com 앞으로 집필할 전자책들도 파이썬과 파이참은 기본적으로 설치해야하기 때문에, 많은 분들에게 좋은 정보를 제공하고자 책의 2장에 해당하는 내용을 각색하여 이 곳에 공개합니다. 책을 구매하지 않더라도 필요한 분들에..

한달 10만원으로 추천시스템 구축하기 [AWS Personalize 도입 후기 / python SDK]

목차 0. 소규모 스타트업에서 추천시스템을 만드는 어려움 1. AWS Personalize 외않써? 2. 데이터 전처리 방법 3. AWS Personalize 자동화 (Python SDK 이용) 4. 가성비 좋게 서빙하는 방법 Batch inference 5. 한계와 Future work 0. 소규모 스타트업에서 추천시스템을 만드는 어려움 개발자 3명 이하의 초기 단계의 스타트업은 항상 리소스가 부족하다. 서비스 출시를 위해 앱, 서버, 인프라 개발만 해도 부족한데, 요즘 서비스에는 필수로 들어간다는 추천시스템까지 구축할 수 있는 스타트업은 많지 않다. 역량있는 데이터 사이언티스트를 초기 멤버로 데려올 수 있는 팀도 ( 제품의 핵심이 데이터 사이언스인 경우는 제외 ) 거의 없기 때문에 초기 스타트업에서 ..

Developer/Data Science 2021.04.15 (7)

python scrapy 를 활용한 웹 크롤링/스크래핑 - 1

개발 환경 MacOS Catalina python 3.9 들어가며... 먼저 용어부터 깔끔하게 정리하자. 웹 크롤링이라는 용어가 웹 사이트들을 돌아다니는 것 자체를 의미한다면, 웹 스크래핑이 우리가 생각하는 웹 사이트들의 정보를 모으는 것을 의미한다. 우리가 사용할 framework 인 scrapy 도 웹 스크래핑을 위해 태어난 프레임워크이다. 여기서 드는 의문점 왜 Beautifulsoup 안쓰나요? - 안다. 유명한거. 그렇지만 몇번의 리서치 결과 나는 프로젝트 단위에서 자주 사용 + 성능 이슈 때문에 scrapy 를 선택하게 되었다. 관련된 내용은 아래 이미지를 참고하자. (출처 영어 주의) 아무래도 scrapy 가 프레임워크의 성격을 갖고 있는지라, 초기에 세팅하는데에 진입장벽이 조금 있다. 그래..

Developer/Data Science 2020.12.21 (2)

About DQ

스타트업의 매력에 빠져 있습니다 데이터로 가치를 만듭니다 현재 싱가폴에서 일합니다. 같이 일할 때 시너지가 나는 사람들을 좋아합니다. dq.data.world@gmail.com AWS lover AWS personalize, AWS ECR AWS Batch, AWS Cloudwatch, AWS Lambda AWS EC2, AWS Lightsail, AWS S3, AWS RDS AWS Kinesis Firehose, AWS Kinesis, AWS Redshift AWS EMR, AWS Sagemaker ML/DL Tensorflow, Pytorch Outstanding ability of applying latest research paper to the product Graph Neural Network..

카테고리 없음 2020.11.24