[cascading] TemplateTap deprecated !!
Development/Cascading / 2014. 10. 8. 10:53
Cascading TemplateTap deprecated.
대신 PartitionTap을 이용해 출력시에 sub-directory를 만들 수 있다.
사용 방법은 TemplateTap과 비슷하다.
많은 Partition 데이터를 작업할때 M/R 올렸다 내렸다하는 시간이 긴데, 이렇게 하면 시간을 엄청 단축 시킬 수 있다.
특히 Partition이 잘개 쪼개져 있는 경우에 엄청나게 큰 이득이다.
houly partitioning 데이터 작업을 할 때, partition 별로 작업 할 때 3주 걸리던 작업이 단 1시간 반 만에 끝났다.
다음 예제를 보면 new Fields("partition")필드에 sub-directory로 만들 date가 들어있다.
방법은 간단하다!!
Tap multiSinkTap = new PartitionTap(new Hfs(new TextDelimited(fields, false, delimiter), outputPath), new DelimitedPartition(new Fields("partition")), SinkMode.REPLACE); |
'Development > Cascading' 카테고리의 다른 글
| About Cascading? (0) | 2014.02.03 |
|---|---|
| Aggregator (2) | 2014.01.22 |