주니 개발 도서관

웹 크롤링 2

( 웹툰 팀 프로젝트 ) 1. 웹 크롤링 샘플데이터 확보

사용한 프로그램 이클립스 자바 (JDK 11) 웹 크롤링 Jsoup ( jar 파일 ) 오라클 설계조건 내용 웹툰 제목, 웹툰 이미지, 웹툰작가, 조회수 —— 아아디, 비밀번호, 이름 최근 방문한 웹툰 정보 저장 —— 로그인, 로그아웃, 회원가입 전체 웹툰 목록(조회수 순위로 출력) 웹툰검색시 웹툰이름, 조회수 순으로 출력가능 검색 성공하면 조회수 +1 마이페이지 최근조회한 웹툰 정보 보기 회원탈퇴 ★ 샘플데이터 크롤링 필요한 정보인 웹툰제목, 이미지값, 웹툰작가의 정보를 웹 크롤링을 이용해 샘플데이터를 확보해 보겠습니다 웹 크롤링 사용 및 분석방법 웹 크롤링을 이용하여 샘플데이터를 확보 크롤링을 위해 Jsoup ( jar 파일 ) 를 이용하였습니다! 기본적인 로직 설명과 Jsoup 사용방법 https:..

팀 프로젝트 2022.07.22

(19) 자바 Jsoup을 이용한 웹 크롤링

웹 크롤링 이란, 컴퓨터 소프트웨어 기술로 웹 사이트들에서 원하는 정보를 추출하는 것을 의미합니다 웹 크롤러 란, 인터넷에 있는 웹페이지를 방문해서 자료를 수집하는 일을 하는 프로그램을 말합니다 여러 웹 크롤러가 존재합니다 저는 그중 Jsoup을 사용해 보도록 하겠습니다 Jsoup은 HTML 파싱 Java 라이브러리입니다 주로 정적인 웹 페이지를 파싱하고자 하는 경우, 간단하게 HTML을 가져와 파싱을 할 수 있는 라이브러리입니다. 간단하게 말하면 화면을 만들기 위해 사용되는 html태그 및 정보들을 가져와 새로운 구조를 만든다고 생각하면 됩니다 외부의 라이브러리에서 사용하기에, 라이브러리에 등록하고 connect를 해주어야 사용 가능합니다 final String url = "https://comic.n..

자바(JAVA) 2022.07.18