목록페이지랭크 (1)

잇연

[sesac LLM] day12-240117 웹크롤링, 인코딩, 디코딩

웹크롤링웹 크롤링(Web Crawling)이란?웹 크롤링은 웹 페이지를 자동으로 요청하여 원하는 정보만 취득하는 기술크롤러(Crawler)라가 웹 페이지를 순회하며 데이터를 수집하고 저장한다.구글은 전세계에서 가장 열심히 웹 크롤링을 하는 회사 중 하나이다웹 크롤링으로 뭘 할 수 있나?뉴스 수집쇼핑몰 상품 가격 추적강의 계획서 모으기 등등주요 사이트별 정책 가이드라인일부 웹 사이트는 크롤링을 금지하거나 사용량에 제한을 두고 있다. robots.txt 파일 을 꼭 확인하세요.구글의 크롤링 정책 보기 https://www.google.com/robots.txt네이버의 크롤링 정책 보기 https://www.naver.com/robots.txt 서버사이드 렌더링 방식 & 클라이언트 사이드 렌더링 방식서버사이드..
SESAC LLM 개발자 강의/Python 2024. 1. 17. 13:17
이전 Prev 1 Next 다음