Yuta NakataのBlog

Python / AWS / ITについて役立つ情報を発信します

やってみた

dynamoDBのAPIイベントをCloudTrail×S3に集める方法

ランキング参加中AWS (Amazon Web Services) 背景 CloudTrailは、証跡を集めるサービスです。 AWS上の様々なアクセスログを自動的に集めてくれます。 DynamoDBにおいては、 CreateTable DeleteTable UpdateTable などの基本的な挙動はデフォルトで記録してく…

GitHub Actionsを用いて、pep8のチェックを自動で行う

ランキング参加中Python やりたいこと Github Actionsを用いてpep8のチェックを自動で行うようにしたい また、下記の条件下でGithub Actionsを起動させるようにしたいと思います mainブランチに対してPull Requestがあったとき チェックの結果をGithub上のイ…

netcdfファイルを軽量化する方法

背景 netCDFは、多次元データを格納するのに便利な拡張子です。 気象、海洋、気候の世界では広く使われています。 一方で、このデータの課題として、多次元配列が故にファイルサイズが大きくなることが挙げられます。 これにより、データの読み込み時にメモ…

技術ブログを1年間続けたみた結果

先日、私のところに以下のようなメールが届きました。 いつの間にか、このブログを初めて1年間経っていたようです。 そこで、今回は 技術ブログを始めた背景 技術ブログのメリット・デメリット アクセス数 などについて、まとめていきます。 技術ブログを始…

【1000倍早くなるPython高速化】for文とベクトル志向演算で計算比較してみた

ランキング参加中Python 背景 Python高速化のテクニック、ベクトル志向演算でどれだけ高速ができるか検証してみました。 高速化の題材は、for文ループを用いて、どれだけ差がでるかを検証してみました。 Python高速化については、以下を参照してください。 w…

テスト自動化ツール「Autify」を使ってみた

Autifyとは? E2E(エンドツーエンド)のテスト自動化ツールです。 ノーコードでシステムの動作テストを複数のOS・ブラウザでテストできるので非常に便利です。 Freeで使用を開始できるので、興味がある方は使ってみてください。 autify.com 使ってみての感…

【バックグラウンドプロセス】計算時間の長いタスクはお任せしよう

課題背景 このような場面はありますでしょうか? プログラムAを使って、計算を回したい! ただし、このプログラムは計算時間が長く、待っているのが嫌だ! このときに役に立つのが、バックグラウンドプロセスです。 バックグラウンドプロセスとは? ユーザー…

AWSコストを半分に削減した方法

はじめに 弊社でAWSを使ったシステム開発をメインにしています。 年末の大掃除ということで、日頃使っているサービスのコスト見直しを行い、月数千ドルの削減を行いました。 はじめに、我々のチームで使っているAWSアカウントは下記のようなユースケースで使…

EBSのボリュームサイズを小さくする方法

はじめに EBSボリュームのサイズは増やすことしかできません。デフォルトでは、EBSを縮小することはできません。 AWS公式によれば、小さいボリュームを使用する場合、小さいボリュームを新たに作成し、それにデータを移行する必要があります。 repost.aws こ…

EC2でOS Error Not enough free space to write XXXXXX bytesが出た場合

EC2にログインしたのち、 OS Error Not enough free space to write XXXXXX bytes とエラーがデータ出た場合の解決方法です。 結論 以下の2STEPで解決できます。 根本的な原因は、EC2にアタッチされているEBS(Elastic Block Store)のストレージサイズの容…

lru_cacheを理解する(Python)

ランキング参加中Python 結論 具体例 使い方のイメージ 結論 pythonには、lru_cacheと呼ばれる標準機能があります。 個人的に、納得できる解説がなかったので、ここにまとめます。 結論、下記のようにまとめられます。 言葉で説明すると、 メソッドのある引…

AWS利用コストをSlackに通知させるツールを作る

はじめに 弊社では、基本的にAWSをベースに開発をしており、クラウド・サーバーレスが基本になっています。 この環境は、様々な面でメリットをもたらす一方で、従量課金型のサービスであるパブリッククラウドにて、予期せぬ出来事が起きないように、利用料金…

AWS Lambda(Python) をローカルで実行する方法

ランキング参加中AWS (Amazon Web Services) ランキング参加中Python はじめに AWS Lambdaは、サーバーレスアプリケーション開発において、とても重宝します。 15分でタイムアウトや、メモリサイズ・エフェメラルストレージに制限があったり、サードパーティ…