今からお前んちこいよ

ベルリンにて細々とお勉強。

AWS

AWS Cloud9上で miniconda の PyQt5 が ImportError: libGL.so.1: cannot open shared object file: No such file or directory となる件

こんな感じのエラーが出ていた。 (本当は seaborn を使いたかったが、引きづられて PyQt5 でエラー) ec2-user:~/environment $ python3 Python 3.6.3 |Anaconda, Inc.| (default, Nov 20 2017, 20:41:42) [GCC 7.2.0] on linux Type "help", "copyright", …

PostgreSQLのRDSでfunctionにjavascriptを使う

概要 PostgreSQLのRDSでファンクションにjavascriptを使う。 自分でインストールすれば拡張言語でplpythonを入れてpythonでストアドプロシージャやストアドファンクションを書くことができる。*1 だが、AWSのRDSの場合、plpythonモジュールは信頼性の側面か…

Lambdaの使い方 - ローカルで開発・実行・デプロイまで[nodejs編]

日本語 | English 概要 AWSサービスのLambda入門メモ。 S3にある指定ファイルの内容を返すイベントを作る。 Lambdaは node 4.3 を使う。 開発コード package.json ・・・ aws-sdk インストール { "name": "application-name", "version": "1.0.0", "descript…

インポート機能でDynamoDBに書き込み - 費用,速度,性能の検証 -

日本語 | English 概要 参照テーブルの作成で、 いかに良い感じに4200万件のデータをDynamoDBに書き込むかの挑戦。 24hで終わればいいなという考え。 公式ドキュメント)AWS DataPipeline 参考)DynamoDBでデータのexport/importを行う | Developers.IO S3…

AWSのS3バケットのライフサイクル設定をしてファイルを自動削除させる

概要 AWSのS3は色々な場面で使えて便利だけれど、 個人的にいいなって思ってる機能がライフサイクル設定。 キャッシュを使う感覚で、バケット(もしくはキー)に期限を指定できる。 期限を過ぎたファイルは自動で削除やアーカイブとしてGlacierに移動できる。 …

DynamoDBをローカルで〜DynamoDBLocalの使い方〜

日本語 | English 概要 AWSサービスのDynamoDBをローカルで動かすことができるDynamoDBLocal。 用途的には、実際にDynamoDBサービスを使う前段階の開発環境用、サーバー上に配置して本稼働も良いでしょう。 公式ページ) docs.aws.amazon.com 必要なもの JRE …

AWSの料金形態[RDS/DynamoDB]

概要 以前、AWSの料金形態をさらっとまとめた。 その記事のRDS/DynamoDB の詳細。 www.hakopako.net RDSの料金詳細 ~ディスクの種類とIOPS~ スペックによってベースの値段は決まる。 プラスでディスク容量・種類とIOPSの値によって料金が上積みされる。 さ…

AWSのLambda + sqlite でサーバレスRDSもなしでAPI実装

日本語 | English 概要 タイトルのとおり。 イベントを受け取ったら指定のプログラムを実行するLambda。 の良い感じの使い方。 よくある使い方 軽いイベントの処理とかかなって思ってる。 ・ API Gateway → Lambda → RDSに書き込み とか ・ Data Pipeline → …

AWSの各サービスの料金形態をさらっとまとめる

概要 実業務での導入には費用対効果の計算がやはり必要。 なにせAWSの公式ページは見づらい。 ※ 使ってみるタイミングで調べてるので 全てのサービスが対象ではない。 参考)見積もり計算ページ calculator.s3.amazonaws.com まとめ表 サービス名 機能 主な…

goofysを使ってAWSのEC2にS3バケットをマウントする[centos6]

日本語 | English AWSのS3バケットをEC2にマウントしたらサーバ内からバケット操作できるので便利だった。サーバ間のデータ受け渡しもこれでscpから卒業。 使ったのは goofys 、Go言語でできてる。これ以前の主流は s3fs でC++でできてる。 s3fs より goofys…