블로그 이미지
개발 블로그였지만 맛집을 더 많이 올리고있어서 잡동사니로 재 명명함ㅋㅋ 꽃현주

카테고리

분류 전체보기 (24)
Essay (1)
Development (12)
Tip/Info (8)
Book (1)
Item (2)
Total
Today
Yesterday

작년에 업무로인해 중국IP대역이 필요했다. 


한참 구글링해서 찾은 사이트

http://www.ip2location.com

저는 작년에 csv 파일(IP2LOCATION-LITE-DB9.CSV)을 받았고 가지고 있으니 필요하신분은 쪽지나 댓글로 e-mail 주소 주시면 보내드리겠습니다.


전세계 IP주소를 관리하는 곳에서 각 국에 IP 대역을 할당해 준다. 

그럼 각 국에서 ISP(Internet Service Provider)에 IP 대역을 나누어 준다.


위 Site에서 제공하는 파일의 IP주소는 Long형태로 제공해준다.

당황하지마쎄요!!


혹시 국내 IP주소가 어느 ISP것인지 알고 싶을 땐 한국인터넷진흥원에서 데이터를 찾을 수 있다!!


IP2LOCATION-LITE-DB9.CSV 일부 발췌!!


(. .* 이런식의 CSV파일입니다.


0 16777215 - - - - 0 0 -
16777216 16777471 AU AUSTRALIA QUEENSLAND SOUTH BRISBANE -27.48333 153.01667 4101
16777472 16778239 CN CHINA FUJIAN FUZHOU 26.06139 119.30611 -
16778240 16778495 AU AUSTRALIA VICTORIA MELBOURNE -37.814 144.96332 8010
16778496 16778751 AU AUSTRALIA NEW SOUTH WALES SYDNEY -33.86785 151.20732 2000
16778752 16779263 AU AUSTRALIA - - -33.86785 151.20732 -
16779264 16781311 CN CHINA GUANGDONG GUANGZHOU 23.11667 113.25 -
16781312 16785407 JP JAPAN TOKYO TOKYO 35.689506 139.6917 214-0021


'Tip/Info > IT' 카테고리의 다른 글

구글 애드센스 수익  (2) 2014.01.25
Posted by 꽃현주
, |

Cascading TemplateTap deprecated.


대신 PartitionTap을 이용해 출력시에 sub-directory를 만들 수 있다.

사용 방법은 TemplateTap과 비슷하다.


많은 Partition 데이터를 작업할때 M/R 올렸다 내렸다하는 시간이 긴데,  이렇게 하면 시간을 엄청 단축 시킬 수 있다.

특히 Partition이 잘개 쪼개져 있는 경우에 엄청나게 큰 이득이다.
houly partitioning 데이터 작업을 할 때, partition 별로 작업 할 때 3주 걸리던 작업이 단 1시간 반 만에 끝났다.

다음 예제를 보면 new Fields("partition")필드에 sub-directory로 만들 date가 들어있다. 

방법은 간단하다!!

 Tap multiSinkTap = new PartitionTap(new Hfs(new TextDelimited(fields, false,  delimiter), outputPath), new DelimitedPartition(new Fields("partition")),  SinkMode.REPLACE);

'Development > Cascading' 카테고리의 다른 글

About Cascading?  (0) 2014.02.03
Aggregator  (2) 2014.01.22
Posted by 꽃현주
, |

hadoop 에서 hdfs에 distributed cache와 classpath 를 runtime에 동적으로 binding하여 사용하고 있다.

(cascading을 이용하고있뜸!!)

distributed cache는 "mapred.cache.files" (yarn: mapreduce.cache.files)에  path를 다음과 같이 넣었고,

"hdfs:///user/joo/x.sqlite"

classpath도 "mapred.job.classpath.files" (yarn: mapreduce.job.classpath.files) path를 다음와 같이 넣었었다.

"hdfs:///user/lib/simple-json.jar"


하지만 뚜둥!! class not found의 에러가 발생하여 job이 죽었다. ㅠㅠ

분명 jobtracker의 job file을 보아도 path가 잘 붙어 있는데 벙쪄 있었다. ㅠ

해결 방법은 아주 간단했다.

"hdfs://" 를 제거하고 "/user/lib/simple-json.jar" root부터만 path를 적어 줬더니 아주 잘 돌아간다;;;

classpath는 "hdfs//"가 prefix 로 되어있나보다.

Posted by 꽃현주
, |

최근에 달린 댓글

최근에 받은 트랙백

글 보관함