프로젝트 7

[인공지능 기자 만들기#1] 설계하기 - Action Item 정의하기

[인공지능 기자 만들기#1] 할 일 정의하기 - Action Item 정의하기 오늘(2020-11-04)부터 뉴스를 만들어내는 기자 AI 봇을 만들어 보려고 한다. 가족과의 시간과 회사업무시간을 제외하면 얼마나 많은 시간을 투자할 수 있을지 모르지만, 여기 이렇게 적어 놓으면, 꾸역꾸역 완성은 하지 않을까? ㅎㅎ 무엇보다 만들면서 많은것을 배울 수 있었으면 좋겠다. 일단 첫번째 단계로, 할일(=Action Item)을 정의하고 Activity Diagram을 만들어 봤다. (by PlantUML) 일정은 적지 않았다. (어차피 지킬수 없으니깐) 최종 아래처럼 동작하는 시스템을 만들려고 한다. 크롤러를 통해서 비슷한 주제의 Naver 뉴스를 크롤링하고 자연어 처리를 통해서 의미를 분석하고 하나의 뉴스를 생..

[인공지능 기자 만들기#7] 기사 자연어 분석기 만들기 - 유사도 분석, 기사생성

2020/11/04 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#1] 설계하기 - Action Item 정의하기 2020/11/13 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#2] 설계하기 - 프로세스 정의하기 2020/11/18 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기 #3] 뉴스기사 크롤링 만들기 - 네이버 헤드라인 뉴스 크롤링 2020/11/19 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기 #4] 뉴스기사 크롤링 만들기 - 뉴스기사 크롤러 (네이버 뉴스 크롤링) 2020/11/23 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#5] 기사 자연어 분석기 만들기 - 데이터 전처리 2020/11/24 -..

[인공지능 기자 만들기#6] 기사 자연어 분석기 만들기 - 형태소 분석, 의미분석

2020/11/04 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#1] 설계하기 - Action Item 정의하기 2020/11/13 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#2] 설계하기 - 프로세스 정의하기 2020/11/18 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기 #3] 뉴스기사 크롤링 만들기 - 네이버 헤드라인 뉴스 크롤링 2020/11/19 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기 #4] 뉴스기사 크롤링 만들기 - 뉴스기사 크롤러 (네이버 뉴스 크롤링) 2020/11/23 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#5] 기사 자연어 분석기 만들기 - 데이터 전처리 이제부터 본격적인 자연..

[인공지능 기자 만들기#5] 기사 자연어 분석기 만들기 - 데이터 전처리

2020/11/04 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#1] 설계하기 - Action Item 정의하기 2020/11/13 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#2] 설계하기 - 프로세스 정의하기 2020/11/18 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기 #3] 뉴스기사 크롤링 만들기 - 네이버 헤드라인 뉴스 크롤링 2020/11/19 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기 #4] 뉴스기사 크롤링 만들기 - 뉴스기사 크롤러 (네이버 뉴스 크롤링) 뉴스 데이터를 전처리 하는 프로그램을 만들었다 이전 단계에서 수집한 뉴스기사 데이터에서 불필요한 부분을 삭제하는 과정이다. 아래 그림중 왼쪽이 원본이고, 오..

[인공지능 기자 만들기 #4] 뉴스기사 크롤링 만들기 - 뉴스기사 크롤러 (네이버 뉴스 크롤링)

[부제#1] 파이썬 크롤링 [부제#2] 네이버 뉴스 크롤링 2020/11/04 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#1] 설계하기 - Action Item 정의하기 2020/11/13 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기#2] 설계하기 - 프로세스 정의하기 2020/11/18 - [프로젝트/인공지능 기자 만들기] - [인공지능 기자 만들기 #3] 뉴스기사 크롤링 만들기 - 네이버 헤드라인 뉴스 크롤링 네이버 뉴스 헤드라인 크롤링에 이어서 기사 세부내용을 크롤링하는 프로그램을 만들었다. 네이버 헤드라인의 상세 페이지를 크롤링해서 기사 세부 정보를 저장한다. 최종 , ,,,, 을 csv 형태로 저장한다. 아래가 네이버 헤드라인의 상세 페이지이다. "이웃사..

[인공지능 기자 만들기 #3] 뉴스기사 크롤링 만들기 - 네이버 헤드라인 뉴스 크롤링

네이버 헤드라인 뉴스를 크롤링 하는 프로그램을 만들었다. 네이버 헤드라인 뉴스 페이지를 크롤링해서 , , 를 csv 파일로 저장하는 프로그램 이다. 네이버 헤드라인 뉴스란? 네이버에서 만드는 아래 사진과 같은 페이지이다. (링크) 네이버에서는 "헤드라인 뉴스와 각 기사묶음 타이틀은 기사 내용을 기반으로 자동 추출됩니다" 라고 설명하며, 유사한 주제에 대한 여러 언론사의 기사를 묶에 하나의 헤드라인으로 표현하고 있다. python 언어를 활용해 개발했고, selenium 패키지를 활용했다. 매우 간단한 코드라서 별도 설명없이 주석으로 대체한다. 기사 저작권 관련 문제가 될수 있다고 하여 코드는 삭제합니다. 방금 돌려보니 아래처럼 결과가 나왔네요 (성공~!!) 다음 글은 세부 기사 크롤링에 대한 내용으로..

[인공지능 기자 만들기#2] 설계하기 - 프로세스 정의하기

[인공지능 기자 만들기#2] 설계하기 - 프로세스 정의하기 인공지능 기자의 프로세스를 아래와 같이 정의했다. 위 그림에서 왼쪽 회색박스는 Naver, 오른쪽은 인공지능 기자 시스템이다. Naver에서는 뉴스 헤드라인 및 헤드라인에 포함되어 있는 기사들을 수집하고 활용할 예정이다. 인공지능 기자 시스템은 3가지 모듈로 구성되어 있다. (정확히는 예정이다) Crawler 기사 리스트 크롤링: 네이버 헤드 뉴스 리스트를 Crawling 한다. 기사 내용 크럴링: 기사 내용을 Crawling 한다. 기사 내용 전달: Crawling된 기사 내용을 NLP 분석기에 전달한다. NLP 분석기 데이터 전처리: 기사 데이터를 전처리하고 구조화하여 저장한다. 형태소 & 의미 분석: 자연어 처리기술을 통해 기사내용의 형태소..

반응형