아파치 하둡

아파치 하둡 Apache Hadoop 개발자 아파치 소프트웨어 재단 발표일 2011년 12월 10일 (12년 전) [1]... 일반 시작 및 종료를 위한 스크립트는 클러스터의 노드들간 설정을 하기 위해 시큐어 셸(Secure Shell, ssh)...

Shell Script 분석 연습 - Hadoop start-all.sh

작성계기 요즘 Shell Script에 대해서 공부하고 있다. 연습이 필요해 Hadoop의 start-all.sh라는 스크립트를 분석해보면서 공부했던 내용도 리마인드하고 몰랐던 내용도 새로 알아보기 위해 시도해보았다. start-all.sh라는 스크립트는 Hadoo

[Hadoop, 하둡] 빅데이터 하둡 이해하기

하둡 대표 명령어 - OS명렁어(unix명령어)하고 비슷한 shell 명령어 - hadoop fs -help : 하둡 fs에서 제공하는 명령어 확인 - hadoop fs -ls : 지정된 폴더나 파일 정보를 출력, 권한정보, 소유자, 생성일자...

윤파파쓰 데이터 인프라

export HADOOP_SHELL_EXECNAME=root core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://co-hdp-te01:9000</value> </property> <property> <name>hadoop.tmp.dir</name...

Hdfs dfs 명령어 정리 및 설명(ls, cat, du, count, copyFromLocal 등)

File System(FS) shell은 Hadoop Distributed File System(HDFS)를 여타 파일시스템처럼 관리하기 위한 목적으로 command를 사용할 수 있다. Hadoop-2.6.0에서는 총 33개의 HDFS 명령어를...

[Hadoop/기록] 2. 하둡 File-System Shell commands

Hadoop File-System commands [초기 실행] dfs, yarn을 실행시켜준다. hadoop의 fs command에 익숙해지기 위한 연습이며, 리눅스와 유사한 커맨드는 구체적인 설명을 생략했다. sbin/start-dfs.sh sbin/start-yarn.sh [Hadoop FS Shell Commands] linux에서 통상적으로...

[Hadoop] Pig 소개, 특징, 이해하기

Pig 실행방법 SCRIPT/ Batch mode : Hadoop Shell에서 실행한다. (테스팅 떄 주로 사용) GRUNT/ Interactive : Pig Shell로 사용 (테스팅 때 주로 사용) Embedded mode : Java를 사용 (주로 생산 단계에서...

도커(docker) 하둡(hadoop) 쉘(shell) 접속 방법

도커(docker) 하둡(hadoop) 쉘(shell) 접속 방법 아래 코드를 입력하면 도커로 설치한 하둡 쉘에 접속해서 하둡 명령어를 입력할 수 있다 docker exec -it hadoop-namenode-1 /bin/bash docker exec hadoop-namenode-1 hdfs dfs -ls / 아래는 하둡 UI에 접속할 수 있다 htt...

Hadoop 바이너리 경로에서 winutils 바이너리를 찾지 못했습니다.

Shell : hadoop 바이너리 경로에서 winutils 바이너리를 찾지 못했습니다. Spark로 자체 포함 된 로컬 애플리케이션을 실행할 때 (즉, spark-assembly-xxx-hadoopx.xxjar 또는...

Apache Hadoop 3.0.2 – Unix Shell Guide

Unix Shell Guide ; Important End-User Environment Variables ; (command)_(subcommand)_USER ; Developer and Advanced Administrator Environment