전체 글98 [Spark] 스파크 완벽 가이드 #3장 책 소개 제목 : 스파크 완벽 가이드 저자 : 빌 체임버스, 마테이 자하리아 https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=175546079 스파크 완벽 가이드 스파크 창시자가 알려주는 스파크 활용과 배포, 유지 보수의 모든 것. 오픈소스 클러스터 컴퓨팅 프레임워크인 스파크의 창시자가 쓴 스파크에 대한 종합 안내서다. 스파크 사용법부터 배포, 유 www.aladin.co.kr 주요 주제 spark-submit (SparkSession과 비교?) Dataset 구조적 스트리밍 - 배치를 연속적으로 처리. 시계열 데이터 머신러닝과 고급 분석 - StringIndexer, OneHotEncoder, Vectorization, fitting, train/test RD.. 2022. 5. 6. [Spark] 스파크 완벽 가이드 #2장 책 소개 제목 : 스파크 완벽 가이드 저자 : 빌 체임버스, 마테이 자하리아 https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=175546079 스파크 완벽 가이드 스파크 창시자가 알려주는 스파크 활용과 배포, 유지 보수의 모든 것. 오픈소스 클러스터 컴퓨팅 프레임워크인 스파크의 창시자가 쓴 스파크에 대한 종합 안내서다. 스파크 사용법부터 배포, 유 www.aladin.co.kr 주요 주제 클러스터란? 스파크 애플리케이션 - 드라이버/ 익스큐터/ 클러스터 매니저 언어 - 스칼라/자바/파이썬/R/SQL API - 고수준/저수준 시작하기 - SparkSession SparkSession - spark DataFrame - partition Transformation .. 2022. 5. 6. [Spark] 스파크 완벽 가이드 #1장 책 소개 제목 : 스파크 완벽 가이드 저자 : 빌 체임버스, 마테이 자하리아 https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=175546079 Part 1. 빅데이터와 스파크 간단히 살펴보기 Chapter 1. 아파치 스파크란 아파치 스파크 통합 컴퓨팅 엔진 클러스터 환경에서 데이터를 병렬로 처리하는 라이브러리 집합 (병렬 처리 오픈소스 엔진) 4가지 언어 지원 python java scala R 단일 노트북 환경 ~ 수천 대의 서버로 구성된 클러스터까지 다양한 환경에서 실행 가능 스파크 기능 구성 (스파크가 제공하는 전체 컴포넌트와 라이브러리) 1.1 아파치 스파크의 철학 통합 (unified) 스파크의 핵심 목표: 빅데이터 애플리케이션 개발에 필요한 통합 플.. 2022. 5. 6. [Python] 파이썬 코딩의 기술 1장 1장 파이썬답게 생각하기 파이썬 프로그래머는 명시적인 것을 좋아하고, 복잡한 것보다 단순한 것을 좋아하며, 가독성을 최대한 높이려고 노력한다. The Zen of Python Beautiful is better than ugly. 아름다움이 추한 것보다 낫다. Explicit is better than implicit. 명확함이 함축된 것보다 낫다. Simple is better than complex. 단순함이 복잡한 것보다 낫다. Complex is better than complicated. 복잡함이 난해한 것보다 낫다. Flat is better than nested. 단조로움이 중접된 것보다 낫다. Sparse is better than dense. 여유로움이 밀집된 것보다 낫다. Readabi.. 2022. 3. 6. 필수 리눅스 터미널 명령어 Unix Shell 종류 Bourne Shell Bash fish zsh 기본 접근 명령어 man manual의 약자 man man - man에 대한 설명 제공 (q 누르면 나갈 수 있음) clear 터미널 청소 (추가) history 입력한 명령어 이력 보기 명령어 정리 (iterm2 기준) pwd print working directory 현재 위치 ls list 현재 디렉토리에 있는 파일 보여줌 ls dir1 입력한 디렉토리 안에 있는 파일 보여줌 ls -l ls long. 자세한 정보 보여줌 ls -a ls all. 숨겨진 파일도 보여줌 ls -la ls -l + ls -a open . 현재 경로 finder에서 열기 cd change directory 경로 변경하기 cd dir1 dir1으로 들.. 2022. 3. 3. 이전 1 2 3 4 ··· 20 다음
