본문 바로가기

데이터 엔지니어링/웹크롤링 - [인강] 코드잇, 상시

(3)
[코드잇-웹자동화 시작하기] 3. 웹 스타일링 본 게시물은 코드잇의 웹자동화 시작하기라는 강의를 듣고 정리한 게시물임을 알려드립니다.1~2. 웹 페이지 살펴보기 / 기본 HTML 태그 정리- 웹 스크래핑 : 웹에서 의미있는 데이터를 추출- 음악사이트 앨범정보, 검색엔진의 검색어 순위 등의 데이터를 얻어낼 수 있음  실습 파일 : index.html index.html 의 코드 본인의 커리어 목표를 달성해 보세요. 코드잇은 미국 아이비리그 컴퓨터 사이언스 전공자, 국내 대기업 IT 출신 등으로 구성된 팀을 통해, 모든 수업들을 자체 제작하여 큰 분야를 쪼개서 유기적으로 학습할수 있게 만들었어요. 코드잇 가이드를 통해 원하는 목표를 빠르게 달성해 보세요 코드잇 커뮤니티에서 함께 궁금한 점을 해결해 봐요. 궁금한 게 생겼거나 함께 의견을..
[코드잇-웹자동화 시작하기] 2. 웹사이트 가져오기 본 게시물은 코드잇의 웹자동화 시작하기라는 강의를 듣고 정리한 게시물임을 알려드립니다.1. 서버와 클라이언트- 클라이언트 : 서비스를 제공받는 쪽- 서버 : 서비스를 제공해주는 쪽  - 크롬 주소창에 www.facebook.com을 치면(requests를 보내면) 서버는 페이스북이, 클라이언트는 브라우저인 크롬이 되는것.- 즉, 페이스북 서버가 요청에 따라 크롬 클라이언트에 html 코드와 js, css 코드를 보내줌- 이 응답에 따라 크롬 클라이언트가 적절한 웹 페이지를 보여주는 것 2. 필요한 라이브러리 설치하기웹크롤링 실습 프로젝트 생성이름 = web_automation 파일 생성이름 = main.py 파이썬 라이브러리 'requests' 설치스탠다드 모듈 : os, datetime, shutil ..
[코드잇-웹자동화 시작하기] 1. 웹의 기본 요소 본 게시물은 코드잇의 웹자동화 시작하기라는 강의를 듣고 정리한 게시물임을 알려드립니다.1. 웹 자동화 소개- 웹자동화를 통해 업무에 활용하거나 데이터를 수집하고, 특정인에게 메일을 보내거나 기사를 만들어내거나 하는 등의 효율적인 작업이 가능.- 웹의 작동 원리와 python 기반의 웹자동화 방식을 배울 예정 2. 하이퍼텍스트란?- 책에 보면 참고문헌이 있음. 즉, 한 자리에서 정보를 바로 모아볼 수 없음   → 여러 텍스트를 하나로 엮어낼 수 있다면? : 하이퍼텍스트 탄생- 하이퍼텍스트 : 텍스트 그 이상의 텍스트라는 뜻으로, 하나의 페이지 안에서 여러개의 다른 페이지들과 연결고리(하이퍼링크)가 있음- 우리가 이용하는 많은 웹사이트들이 다 하이퍼 텍스트의 일종 3. 하이퍼텍스트 구현하이퍼텍스트 구현을 위..