Yuta NakataのBlog

Python / AWS / ITについて役立つ情報を発信します

AWS CloudFormationでDELETE_IN_PROGRESSが終わらないときの対処法

状況 AWS CloudFormationでCloudFrontのリソースを削除しようとした。 DELETE_IN_PROGRESSが10分以上経っても、完了しない。 Eventを確認しても、エラーは確認できず、削除中っぽい。 対処法 とにかく待つしかないらしい 特に、CloudFront周りのネットワーク…

PR前にやって欲しいこと3選

現代のソフトウェア開発ではかかせないGit/GitHub。 GitHubを使ったチーム開発は、現代ではマストだと思います。 そこで、現場のエンジニア目線でこれだけはやっておいてほしい3選を紹介します。 他にも、色々言いたいことはありますが、、、、まずは、これ…

lru_cacheを理解する(Python)

結論 具体例 使い方のイメージ 結論 pythonには、lru_cacheと呼ばれる標準機能があります。 個人的に、納得できる解説がなかったので、ここにまとめます。 結論、下記のようにまとめられます。 言葉で説明すると、 メソッドのある引数に対する計算結果を保存…

AWS EBS(Elastic Block Store)はEC2を止めても課金されます

Cost Explolerで状況確認 EBSの課金を停止する EBSと料金について 表題の件について解説していきます。 結論としては、 AWS EBS(Elastic Block Store)は、アタッチしているEC2を停止しても課金されます。なので、EBSのボリューム選びは慎重に。また、大体…

AWS Lambdaで複数のファイルを並列で取得する

今日は、AWS Lambda, Python, 並列処理について書こうと思います。 背景 プログラム 背景 Lamdaでデータをダウンロードする時間を圧縮したい! プログラム 下記の例では、awswranglerを用いて、S3から1000個のデータをダウンロードしてきます。 awsranglerに…

LambdaでBoto3/Pandasを使うのをやめて、awswrangler(aws-sdk-pandas)を使いましょう

1. awswranglerってなに? 2. Boto3/Pandasではなく、awswranglerを使う実践的なコード 2-1. boto3/pandasを使う場合 2-2. awswranglerを使う場合 3. なんでawswrangler? 4. 参考文献 1. awswranglerってなに? AWS上でのPandasを拡張したパッケージです。 …

テスト駆動開発の始め方

結局、テスト駆動開発とは何でしょうか? 結論 普通の開発の仕方との違い 参考文献 テスト駆動開発(Kent Beck) テスト駆動Python 結論 まずは、結論です。 テスト駆動開発とは、 ①テストを書き、 ②テストが通るようにプログラムを書き、 ③テストが通ったら…