개발자 엘티엘의 지식 보관소

2020/11/04 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#1] 설계하기 - Action Item 정의하기 2020/11/13 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#2] 설계하기 - 프로세스 정의하기 2020/11/18 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기 #3] 뉴스기사 크롤링 만들기 - 네이버 헤드라인 뉴스 크롤링 2020/11/19 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기 #4] 뉴스기사 크롤링 만들기 - 뉴스기사 크롤러 (네이버 뉴스 크롤링) 2020/11/23 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#5] 기사 자연어 분석기 만들기 - 데이터 전처리 이제부터 본격적인 자연..

2020/11/04 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#1] 설계하기 - Action Item 정의하기 2020/11/13 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#2] 설계하기 - 프로세스 정의하기 2020/11/18 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기 #3] 뉴스기사 크롤링 만들기 - 네이버 헤드라인 뉴스 크롤링 2020/11/19 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기 #4] 뉴스기사 크롤링 만들기 - 뉴스기사 크롤러 (네이버 뉴스 크롤링) 뉴스 데이터를 전처리 하는 프로그램을 만들었다 이전 단계에서 수집한 뉴스기사 데이터에서 불필요한 부분을 삭제하는 과정이다. 아래 그림중 왼쪽이 원본이고, 오..

[부제#1] 파이썬 크롤링 [부제#2] 네이버 뉴스 크롤링 2020/11/04 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#1] 설계하기 - Action Item 정의하기 2020/11/13 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#2] 설계하기 - 프로세스 정의하기 2020/11/18 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기 #3] 뉴스기사 크롤링 만들기 - 네이버 헤드라인 뉴스 크롤링 네이버 뉴스 헤드라인 크롤링에 이어서 기사 세부내용을 크롤링하는 프로그램을 만들었다. 네이버 헤드라인의 상세 페이지를 크롤링해서 기사 세부 정보를 저장한다. 최종 , ,,,, 을 csv 형태로 저장한다. 아래가 네이버 헤드라인의 상세 페이지이다. "이웃사..

네이버 헤드라인 뉴스를 크롤링 하는 프로그램을 만들었다. 네이버 헤드라인 뉴스 페이지를 크롤링해서 , , 를 csv 파일로 저장하는 프로그램 이다. 네이버 헤드라인 뉴스란? 네이버에서 만드는 아래 사진과 같은 페이지이다. (링크) 네이버에서는 "헤드라인 뉴스와 각 기사묶음 타이틀은 기사 내용을 기반으로 자동 추출됩니다" 라고 설명하며, 유사한 주제에 대한 여러 언론사의 기사를 묶에 하나의 헤드라인으로 표현하고 있다. python 언어를 활용해 개발했고, selenium 패키지를 활용했다. 매우 간단한 코드라서 별도 설명없이 주석으로 대체한다. 기사 저작권 관련 문제가 될수 있다고 하여 코드는 삭제합니다. 방금 돌려보니 아래처럼 결과가 나왔네요 (성공~!!) 다음 글은 세부 기사 크롤링에 대한 내용으로..

[인공지능 기자 만들기#2] 설계하기 - 프로세스 정의하기 인공지능 기자의 프로세스를 아래와 같이 정의했다. 위 그림에서 왼쪽 회색박스는 Naver, 오른쪽은 인공지능 기자 시스템이다. Naver에서는 뉴스 헤드라인 및 헤드라인에 포함되어 있는 기사들을 수집하고 활용할 예정이다. 인공지능 기자 시스템은 3가지 모듈로 구성되어 있다. (정확히는 예정이다) Crawler 기사 리스트 크롤링: 네이버 헤드 뉴스 리스트를 Crawling 한다. 기사 내용 크럴링: 기사 내용을 Crawling 한다. 기사 내용 전달: Crawling된 기사 내용을 NLP 분석기에 전달한다. NLP 분석기 데이터 전처리: 기사 데이터를 전처리하고 구조화하여 저장한다. 형태소 & 의미 분석: 자연어 처리기술을 통해 기사내용의 형태소..