네이버 헤드라인 뉴스를 크롤링 하는 프로그램을 만들었다.
네이버 헤드라인 뉴스 페이지를 크롤링해서 <헤드라인 제목>, <헤드라인 링크>, <기사 개수> 를 csv 파일로 저장하는 프로그램 이다.
네이버 헤드라인 뉴스란?
네이버에서 만드는 아래 사진과 같은 페이지이다. (링크)
네이버에서는 "헤드라인 뉴스와 각 기사묶음 타이틀은 기사 내용을 기반으로 자동 추출됩니다" 라고 설명하며,
유사한 주제에 대한 여러 언론사의 기사를 묶에 하나의 헤드라인으로 표현하고 있다.
python 언어를 활용해 개발했고, selenium 패키지를 활용했다.
매우 간단한 코드라서 별도 설명없이 주석으로 대체한다.
기사 저작권 관련 문제가 될수 있다고 하여 코드는 삭제합니다.
방금 돌려보니 아래처럼 결과가 나왔네요 (성공~!!)
다음 글은 세부 기사 크롤링에 대한 내용으로..
반응형
'프로젝트 > 인공지능 기자 만들기' 카테고리의 다른 글
| [인공지능 기자 만들기#7] 기사 자연어 분석기 만들기 - 유사도 분석, 기사생성 (10) | 2020.11.30 |
|---|---|
| [인공지능 기자 만들기#6] 기사 자연어 분석기 만들기 - 형태소 분석, 의미분석 (0) | 2020.11.24 |
| [인공지능 기자 만들기#5] 기사 자연어 분석기 만들기 - 데이터 전처리 (2) | 2020.11.23 |
| [인공지능 기자 만들기 #4] 뉴스기사 크롤링 만들기 - 뉴스기사 크롤러 (네이버 뉴스 크롤링) (1) | 2020.11.19 |
| [인공지능 기자 만들기#2] 설계하기 - 프로세스 정의하기 (0) | 2020.11.13 |