boto3とは？ pythonのaws-sdkです。 他の言語のaws-sdkは大体aws-sdkみたいな名前で公開されていることが多いのですが、なぜかpythonだけboto3っていう名前です。 boto3.amazonaws.com 個人的にはこのドキュメントすごい読みやすくて好きなライブラリです。 …

今、airflowが熱いらしいです。 そこら編の解説は他の有用や記事に任せて、とりあえずチュートリアル動かしてみた備忘録を残しておきます。 AWS環境 Amazon Linux 2 セキュリティグループは sshの22番 ウェブコンソールの8080番 を開けておきます 大体チュー…

経緯 個人的な趣味で、顔認識のAPIを使いたいなと思い立ちました。 OpenCVで自前でできないかなーとも思ったのですが、なかなか難しいっぽく、諦めてAPIを使うという選択になった次第です。 どこがAPIを提供しているのか、以下のリンクがとても参考になりま…

問題 pythonのboto3で以下のようなコードを書いていて、 try: hoge() except: print("error") flake8にdo not use bare except'と怒られた。 pythonのエラーの書き方をちゃんと調べてみると、エラーの種類をexceptで指定しておかないと、エラーメッセージを…

やりたいこと 以下のような3つの項目を持ったjsonファイルがあります。 id, cookie, date 基本的にはidはcookieと一対一の関係にありますが、たまにあるcookieに対して同じidが振られていることがあります。 つまり、cookieは完全にユニークですが、idには重…

Hiveとは? Hiveとは？ Hive（ハイブ）とは、オープンソースの大規模分散計算フレームワークHadoop上で動作するデータウェアハウス（DWH）向けのプロダクトです。 Hiveとは | クラウド・データセンター用語集／IDCフロンティア とあります。 大規模なデータ処…

ページネーションをうまいことやりたいとき、railsだとどうやらkaminariってのが有名らしい。 しかしrailsのチュートリアルで、will_paginateを使っていたので、それを活用していきます。 参考までにkaminari github.com そして今回のwill_paginate github.c…

ハッシュ、シンボル、配列あたりがごちゃごちゃしているので、まとめる。 備忘録です。 配列 シンプルな配列 array = [1,2,3,4,5] [1, 2, 3, 4, 5] 要素を追加したり、色々なメソッドを使えます。 array.push(10) [1, 2, 3, 4, 5, 10] 色んなものが配列の要…

reduceとは reduceはinjectの別名。 配列やハッシュを次々に処理していくときに使えるやつ。 早速例示して使ってみる。 まず配列について # 初期値なしで、配列の中身を順に足していく。 [1,2,3,4,5].reduce() {|sum, i| sum + i } 15 # 初期値を設定できる …

rubyのmapなどについて使い方をまとめてみます。 map 配列やハッシュの各値に対して同じ操作をしていく。 配列について # 各値を2倍にする [1,2,3,4,5].map {|i| i*2} [2, 4, 6, 8, 10] # 何もしない [1,2,3,4,5].map{|i| i} [1, 2, 3, 4, 5] # 全部1にする …

なぜシリーズが好きだ。 Javaでなぜつくるのか 知っておきたいJavaプログラミングの基礎知識作者: 米持幸寿出版社/メーカー: 日経BP社発売日: 2005/03/31メディア: 単行本購入: 2人 クリック: 24回この商品を含むブログ (40件) を見る 背景 Web系でJavaを使…

先日、統計検定2級の合格通知をいただきました。 （偉そうな事書いてありますが、自己採点したらかなりギリギリの合格でした。。。） 受験したのは、2016年11月の試験でした。 目次 受験背景 勉強時間 勉強方法 マンガでわかる統計学 統計学がわかる (ハンバ…

eclipseのデフォルトのテーマは白色で、なんかダサイというのと、多分白の方が反射が多くて、目に良くないんじゃないかと思って、テーマカラーを変えました。 かっこいいというのが半分以上の理由です。 ⌘ + , でPreferance > General > Appearance > Theme …

データベースのことについて学びたいと思い、色々探してみました。 この時点でデータベースに関しては、初心者です。 MySQLの本は軽く読んだことがあり、テーブル操作など基本的なことはわかったのですが、 そもそものデータベース設計方法を全然知らなかっ…