2020/12 2

python scrapy 를 활용한 웹 크롤링/스크래핑 - 1

개발 환경 MacOS Catalina python 3.9 들어가며... 먼저 용어부터 깔끔하게 정리하자. 웹 크롤링이라는 용어가 웹 사이트들을 돌아다니는 것 자체를 의미한다면, 웹 스크래핑이 우리가 생각하는 웹 사이트들의 정보를 모으는 것을 의미한다. 우리가 사용할 framework 인 scrapy 도 웹 스크래핑을 위해 태어난 프레임워크이다. 여기서 드는 의문점 왜 Beautifulsoup 안쓰나요? - 안다. 유명한거. 그렇지만 몇번의 리서치 결과 나는 프로젝트 단위에서 자주 사용 + 성능 이슈 때문에 scrapy 를 선택하게 되었다. 관련된 내용은 아래 이미지를 참고하자. (출처 영어 주의) 아무래도 scrapy 가 프레임워크의 성격을 갖고 있는지라, 초기에 세팅하는데에 진입장벽이 조금 있다. 그래..

Developer/Data Science 2020.12.21 (2)

베이스캠프를 싱가폴로 옮겼습니다.

우연한 기회로 인해 싱가폴로 이직하게 되었습니다. 해외 생활에 대한 막연한 로망이 있었는데, 제가 하고 싶은 일 + 할 수 있는 일이 겹치게 되었습니다. 좋은 기회라 생각해서 이렇게 또 새로운 도전을 하게 되었습니다. 코로나 시국에 비행기 좌석이 30%도 예약이 안된걸 보고 여러가지 생각이 들었네요... 모든 건 운이 좋았던 것 같습니다. 다만 이 기회를 제 것으로 만들어야 의미가 있겠죠... 다들 건강 조심하세요.

DQ Life 2020.12.21