빅데이터 아키텍처 및 기술 - (1) 빅데이터 개요

1.1 빅데이터 시대

1.1.1 제3의 정보화 물결

전 IBM CEO 거스트너(Gerstner)에 따르면 IT 분야15년마다 큰 변화가 있을 것이다

• 1981년 8월 12일 IBM은 최초의 개인용 컴퓨터인 IBM PC5150을 출시했습니다.
• IBM5150 컴퓨터 한 대의 무게는 약 11.34kg, 키보드 단독 무게는 약 2.7kg이며, 16비트, 4.77MHz 인텔 8088 마이크로프로세서와 16KB(최대 256KB까지 확장 가능) 메모리를 탑재했다
  .
• 오디오 카세트를 이용해 데이터를 다운로드하고 저장할 수 있으며, 5.25인치 플로피 디스크 드라이브도 사용할 수 있으며, 마이크로소프트의 디스크 운영체제(X86-DOS), 스프레드시트 소프트웨어인 비시칼레(Visicale), 텍스트 입력 소프트웨어인 이지라이터(Easywriter)가 설치돼 있다.
• IBM은 컴퓨터 산업의 선두주자로, 로고가 파란색이기 때문에 '빅 블루(Big Blue)'라고도 불립니다.
• 1981년 IBM 개인용 컴퓨터가 나왔고, 출시되자마자 큰 인기를 끌며 개인용 컴퓨터 시장의 3/4를 점유했다. IBM은 개인용 컴퓨터에서 가장 수익성이 높은 부분이 수십 달러의 소프트웨어가 아니라 수천 달러의 하드웨어라고 잘못 믿었습니다. IBM은 개인용 컴퓨터를 빠르게 출시하기 위해 자체 운영체제를 개발할 시간이 없었기 때문에 다른 회사에 입찰을 요청했습니다.
• 이때 빌게이츠는 기회를 보고 운영체제를 IBM에 팔았습니다. 그러나 똑똑한 빌 게이츠는 IBM이 운영 체제를 인수하도록 허용하지 않고 대신 IBM 개인용 컴퓨터 각각에서 적당한 로열티를 징수했습니다.
• 빌 게이츠는 IBM과 협력하면서 새로운 운영체제(윈도우) 개발에 많은 노력을 기울였고, 윈도우가 출시되면서 마이크로소프트 제국이 형성됐다.
• 1994년 4월 20일, 최초의 64K 국제전용회선이 중국에 연결되었는데, 이는 중국이 국가로서 국제인터넷에 진출하는 시작점이라는 점에서 중국 인터넷에 있어서 기억에 남는 사건이었다.
• 1995년 베이징과 상하이 간 64K 국제 전용선이 개통된 후 중국은 모든 기능을 갖춘 국제 인터넷에 접속할 수 있게 되었습니다.

1.1.2 정보기술은 빅데이터 시대에 대한 기술지원을 제공한다

1. 저장장치 용량은 지속적으로 증가
   
2. CPU 처리 능력이 크게 향상되었습니다.
   
3. 네트워크 대역폭은 계속해서 증가하고 있습니다.
   

1.1.3 데이터 생성방식의 변화로 빅데이터 시대 도래

1.1.4 빅데이터의 발전 역사

1.2 빅데이터 개념

1.2.1 대용량 데이터

• IDC의 추정에 따르면 데이터는 매년 50%씩 증가하고 있습니다. 이는 2년마다 두 배씩 증가한다는 의미입니다(무어의 빅 데이터 법칙).
• 지난 2년간 인간이 생성한 데이터의 양은 이전에 생성된 데이터의 전체 양과 동일합니다.
• 2020년까지 전 세계의 데이터 양은 총 35ZB에 달할 것으로 추산되며, 2010년 대비 데이터 양은 PB EB ZB의 30배 가까이 증가할 것으로 예상됩니다.

1.2.2 다양한 데이터 유형

• 빅데이터는 정형 데이터와 비정형 데이터로 구성됩니다.
  • 
    구조화된 데이터의 10%가 데이터베이스 에 저장됩니다.
  • 비정형 데이터의 90%는
    인간의 정보와 밀접하게 관련되어 있습니다.

1.2.3 빠른 처리 속도

• 데이터 생성부터 소비까지의 시간은 매우 짧기 때문에 결정을 내리는 데 사용할 수 있는 시간이 거의 없습니다.
• 1초 규칙: 이 역시 기존의 데이터 마이닝 기술과 근본적으로 다릅니다.

1.3 빅데이터의 영향

1998년 튜링상 수상자이자 유명한 데이터베이스 전문가인 짐 그레이(Jim Gray) 박사는 고대부터
인간은 과학 연구에서 실험, 이론, 계산, 데이터라는 네 가지 패러다임을 거쳐 왔다고 결론지었습니다.

빅데이터 시대는 인간의 사고방식에 큰 영향을 미쳤다.

• 첫 번째 영향은
  
  빅데이터 시대 이후입니다.
  
• 두 번째 영향
• 세 번째 영향
  

1.4 빅데이터의 활용

빅데이터는 어디에나 존재하며, 금융, 자동차, 유통, 요식업, 통신, 에너지, 정무, 의료, 스포츠, 엔터테인먼트 등 각계각층에 빅데이터가 각인되어 있습니다.

1.5 빅데이터 핵심기술

핵심은 다음과 같습니다.데이터 저장 및 관리, 데이터 처리 및 분석

빅데이터 기술의 두 가지 핵심 기술은 다음과 같습니다.

• 분산 스토리지: 대용량 데이터의 스토리지 문제 해결
• 분산 처리: 대용량 데이터 처리 문제 해결

1.6 빅데이터 컴퓨팅 모델

• 최초의 빅 데이터 컴퓨팅 모델:일괄 계산
  

• 두 번째 빅 데이터 컴퓨팅 모델:스트림 컴퓨팅
  

• 세 번째 빅 데이터 컴퓨팅 모델:그래프 계산
  
  

• 네 번째 빅 데이터 컴퓨팅 모델:쿼리 분석 계산
  

빅데이터 컴퓨팅 모델 및 대표 제품:

1.7 빅데이터 산업

빅데이터 산업은 빅데이터 조직관리 및 가치발굴 지원과 관련된 모든 기업의 경제활동을 총칭하는 말이다.

1.8 빅데이터, 클라우드 컴퓨팅, 사물인터넷의 관계

1.8.1 클라우드 컴퓨팅

클라우드 컴퓨팅은 대용량 데이터의 분산 저장 및 분산 처리 문제를 해결합니다.

• 클라우드 컴퓨팅의 일반적인 특징
  • 가상화
  • 다중 테넌트
• 클라우드 컴퓨팅의 개념: 클라우드 컴퓨팅은 네트워크를 통해 사용자에게 매우 저렴한 IT 자원을 서비스 형태로 제공하는 것입니다.
• 클라우드 컴퓨팅의 장점: 기업은 자체 IT 인프라를 구축할 필요가 없으며 클라우드 리소스를 임대할 수 있습니다.
• 클라우드 컴퓨팅의 세 가지 모드:
  • 퍼블릭 클라우드: Baidu Cloud - 모든 퍼블릭용
  • 하이브리드 클라우드: 자신을 위한 일부, 외부 세계를 위한 일부
  • 프라이빗 클라우드: China Mobile, China Telecom - 내부 기업용
    
• 클라우드 컴퓨팅 핵심 기술
  • 가상화
  • 분산 스토리지
  • 분산 컴퓨팅
  • 다중 테넌트
• 클라우드 컴퓨팅 데이터 센터
  • 데이터센터는 클라우드 컴퓨팅의 온상이다
  • 다양한 데이터와 애플리케이션은 '하늘 위의 구름'에 있는 것이 아니라 모든 곳의 데이터 센터에 위치합니다.
  • 데이터 센터에는 각각 자체 CPU, 메모리 및 스토리지를 갖춘 소형 독립형 서버인 다수의 블레이드 서버가 포함되어 있습니다.
  • 데이터 센터는 많은 에너지를 소비합니다.

1.8.2 사물 인터넷

사물인터넷(Internet of Things)은 사물이 연결되는 인터넷으로, 인터넷의 확장이다.

• IoT 레이어 아키텍처:
  

• 사물 인터넷 핵심 기술

  • 식별 기술
  • 인지 기술

• 사물 인터넷 응용 사물
  인터넷은 스마트 교통, 스마트 의료, 스마트 홈, 환경 모니터링, 스마트 보안, 스마트 물류, 스마트 그리드, 스마트 농업, 스마트 산업 및 기타 분야에서 널리 사용되었으며 중요한 역할을 해왔습니다. 국가경제와 사회발전을 도모하는데 있다.
  

• 클라우드 컴퓨팅, 빅데이터, 사물 인터넷은 IT 분야의 최신 기술 발전 동향을 대표하며, 이 세 가지는 서로 다르면서도 서로 연관되어 있습니다.