블로그 이미지
개발 블로그였지만 맛집을 더 많이 올리고있어서 잡동사니로 재 명명함ㅋㅋ 꽃현주

카테고리

분류 전체보기 (24)
Essay (1)
Development (12)
Tip/Info (8)
Book (1)
Item (2)
Total
Today
Yesterday

Cascading TemplateTap deprecated.


대신 PartitionTap을 이용해 출력시에 sub-directory를 만들 수 있다.

사용 방법은 TemplateTap과 비슷하다.


많은 Partition 데이터를 작업할때 M/R 올렸다 내렸다하는 시간이 긴데,  이렇게 하면 시간을 엄청 단축 시킬 수 있다.

특히 Partition이 잘개 쪼개져 있는 경우에 엄청나게 큰 이득이다.
houly partitioning 데이터 작업을 할 때, partition 별로 작업 할 때 3주 걸리던 작업이 단 1시간 반 만에 끝났다.

다음 예제를 보면 new Fields("partition")필드에 sub-directory로 만들 date가 들어있다. 

방법은 간단하다!!

 Tap multiSinkTap = new PartitionTap(new Hfs(new TextDelimited(fields, false,  delimiter), outputPath), new DelimitedPartition(new Fields("partition")),  SinkMode.REPLACE);

'Development > Cascading' 카테고리의 다른 글

About Cascading?  (0) 2014.02.03
Aggregator  (2) 2014.01.22
Posted by 꽃현주
, |

최근에 달린 댓글

최근에 받은 트랙백

글 보관함