やったもん勝ち

主にプログラミングのこと。生産性向上の某とかも。

2017-11-01から1ヶ月間の記事一覧

python3でstrからdictに変換する

import ast str = "{'name':'Taro', 'hieght':170}" type(str) => <class 'str'> dict = ast.literal_eval(str) type(dict) => <class 'dict'> 他の記事でast.literal_dict(str) となっていたのですが、 AttributeError: module 'ast' has no attribute 'literal_dict' とエラーになって</class></class>…

AWS EMRを使ったhiveのチュートリアル

やりたいこと 以下のような3つの項目を持ったjsonファイルがあります。 id, cookie, date 基本的にはidはcookieと一対一の関係にありますが、たまにあるcookieに対して同じidが振られていることがあります。 つまり、cookieは完全にユニークですが、idには重…

AWSのEMRを使ってHiveの基本的な使い方を確認しておく備忘録

Hiveとは? Hiveとは? Hive(ハイブ)とは、オープンソースの大規模分散計算フレームワークHadoop上で動作するデータウェアハウス(DWH)向けのプロダクトです。 Hiveとは | クラウド・データセンター用語集/IDCフロンティア とあります。 大規模なデータ処…

ビットコインの自動売買プログラムを作る①APIいじってみる〜

bitflyerのAPIを使ってビットコインの売買が結構かんたんにできちゃいます。 以下のページから使いたいAPIを探します。 全部日本語で書いてあるので、嬉しいですね。 ビットコイン取引所【bitFlyer Lightning】 こちらでサンプルコードが載っているので、ほ…