[인공지능 기자 만들기#2] 설계하기 - 프로세스 정의하기

[인공지능 기자 만들기#2] 설계하기 - 프로세스 정의하기

 

인공지능 기자의 프로세스를 아래와 같이 정의했다.

인공지능 기자 프로세스

 

위 그림에서 왼쪽 회색박스는 Naver, 오른쪽은 인공지능 기자 시스템이다.

Naver에서는 뉴스 헤드라인 및 헤드라인에 포함되어 있는 기사들을 수집하고 활용할 예정이다.

인공지능 기자 시스템은 3가지 모듈로 구성되어 있다. (정확히는 예정이다)

 

• Crawler

  • 기사 리스트 크롤링: 네이버 헤드 뉴스 리스트를 Crawling 한다.

  • 기사 내용 크럴링: 기사 내용을 Crawling 한다.

  • 기사 내용 전달: Crawling된 기사 내용을 NLP 분석기에 전달한다.

• NLP 분석기

  • 데이터 전처리: 기사 데이터를 전처리하고 구조화하여 저장한다.

  • 형태소 & 의미 분석: 자연어 처리기술을 통해 기사내용의 형태소 및 의미 분석을 한다.

  • 유사도 분석: 기사들간 유사도 분석을 한다.

  • 분석된 기사 데이터 전달: 분석된 기사내용을 기사 생성기에 전달한다.

• 기사 생성기

  • 기사 생성: 분석된 기사 데이터를 기반으로 새로운 기사를 생성해 낸다.

  • 생성된 기사 전달: 생성된 기사를 외부 시스템에 전달한다.

 

다음부터 본격적으로 Crawler를 만들어보자.