쥬 잡동사니

작년에 업무로인해 중국IP대역이 필요했다. 

한참 구글링해서 찾은 사이트

http://www.ip2location.com

저는 작년에 csv 파일(IP2LOCATION-LITE-DB9.CSV)을 받았고 가지고 있으니 필요하신분은 쪽지나 댓글로 e-mail 주소 주시면 보내드리겠습니다.

전세계 IP주소를 관리하는 곳에서 각 국에 IP 대역을 할당해 준다. 

그럼 각 국에서 ISP(Internet Service Provider)에 IP 대역을 나누어 준다.

위 Site에서 제공하는 파일의 IP주소는 Long형태로 제공해준다.

당황하지마쎄요!!

혹시 국내 IP주소가 어느 ISP것인지 알고 싶을 땐 한국인터넷진흥원에서 데이터를 찾을 수 있다!!

IP2LOCATION-LITE-DB9.CSV 일부 발췌!!

(. .* 이런식의 CSV파일입니다.

Cascading TemplateTap deprecated.

대신 PartitionTap을 이용해 출력시에 sub-directory를 만들 수 있다.

사용 방법은 TemplateTap과 비슷하다.

많은 Partition 데이터를 작업할때 M/R 올렸다 내렸다하는 시간이 긴데,  이렇게 하면 시간을 엄청 단축 시킬 수 있다.

특히 Partition이 잘개 쪼개져 있는 경우에 엄청나게 큰 이득이다.
houly partitioning 데이터 작업을 할 때, partition 별로 작업 할 때 3주 걸리던 작업이 단 1시간 반 만에 끝났다.

다음 예제를 보면 new Fields("partition")필드에 sub-directory로 만들 date가 들어있다. 

방법은 간단하다!!

hadoop 에서 hdfs에 distributed cache와 classpath 를 runtime에 동적으로 binding하여 사용하고 있다.

(cascading을 이용하고있뜸!!)

distributed cache는 "mapred.cache.files" (yarn: mapreduce.cache.files)에  path를 다음과 같이 넣었고,

"hdfs:///user/joo/x.sqlite"

classpath도 "mapred.job.classpath.files" (yarn: mapreduce.job.classpath.files) path를 다음와 같이 넣었었다.

"hdfs:///user/lib/simple-json.jar"

하지만 뚜둥!! class not found의 에러가 발생하여 job이 죽었다. ㅠㅠ

분명 jobtracker의 job file을 보아도 path가 잘 붙어 있는데 벙쪄 있었다. ㅠ

해결 방법은 아주 간단했다.

"hdfs://" 를 제거하고 "/user/lib/simple-json.jar" root부터만 path를 적어 줬더니 아주 잘 돌아간다;;;

classpath는 "hdfs//"가 prefix 로 되어있나보다.