Yuta NakataのBlog

Python / AWS / ITについて役立つ情報を発信します

【Python】print()を卒業してloggerを始める

ランキング参加中Python この記事の対象者 Pythonでlogを書き始めたい人 loggerについて学びたい人 なぜlogを書くのか? 理由は色々あると思いますが、個人的にprintではなくlogが必要な理由は下記があると考えます。 print()では、いつ起きたかがわからない…

【Performance Tuning of Amazon Athena】Athenaのパフォーマンスを上げる

背景・前提 施策1. パーティションを使う 施策2. 読み込ませるデータを圧縮する 施策3. ファイル数を分割する 施策3. 結合を最適化する 施策4. LIKE句の使用は控える 施策5. 近似関数を使う 施策6. 必要ない列は含めない 施策6. クエリ結果を再利用 最後に …

netcdfファイルを軽量化する方法

背景 netCDFは、多次元データを格納するのに便利な拡張子です。 気象、海洋、気候の世界では広く使われています。 一方で、このデータの課題として、多次元配列が故にファイルサイズが大きくなることが挙げられます。 これにより、データの読み込み時にメモ…

技術ブログを1年間続けたみた結果

先日、私のところに以下のようなメールが届きました。 いつの間にか、このブログを初めて1年間経っていたようです。 そこで、今回は 技術ブログを始めた背景 技術ブログのメリット・デメリット アクセス数 などについて、まとめていきます。 技術ブログを始…

【コピペでOK】EC2にPython3.12を入れる

ランキング参加中AWS (Amazon Web Services) ランキング参加中Python 背景 EC2はデフォルトでは、PythonのVersionが非常に古いです。 そこで、EC2のVersionUpを試みるも環境構築に苦戦するケースが散見されます。 巷にあふれる同様のHow To記事も見かけます…

cartopy逆引き大全

ランキング参加中Python 0. 背景 1. cartopyをinstallする 2-1. 海岸線を描く 2-2. 緯度・軽度線を描く 2-3. 国境線を描く 2-4. 表示されるエリアを日本域だけにする 2-5. 複数のグラフを作成する 2-6. 海や陸地に色をつける 2-7. パラパラ漫画(.gif)を作成…

【1000倍早くなるPython高速化】for文とベクトル志向演算で計算比較してみた

ランキング参加中Python 背景 Python高速化のテクニック、ベクトル志向演算でどれだけ高速ができるか検証してみました。 高速化の題材は、for文ループを用いて、どれだけ差がでるかを検証してみました。 Python高速化については、以下を参照してください。 w…

【脱初心者】Python初心者コードあるある

ランキング参加中Python 背景 Python初心者あるあるをまとめます。 また、その改善策も合わせて紹介します。 あるある1:多重forループ for i in range(10): for j in range(10): for k in range(10): print(i, j, k) 本当に多重ループが必要でしょうか?よ…

pytestで考えるテストケース

背景 テストコードを書いてください このときにどんなテストコードを書けばいいでしょうか? 具体例をベースにテストケースの考え方について、本記事では考えます。 テストの種類 テストには、 単体テスト 結合テスト システムテスト 等があります。 ここで…

【初心者向け】コンピュータサイエンスがわからない人のための、EC2のインスタンスの選び方

ランキング参加中AWS (Amazon Web Services) 背景 EC2インスタンスの選び方について、メモリとか、CPUとかよくわからない人向けにまとめます。 そのため、各EC2インスタンスタイプの正確な説明はしません。 また、玄人から見ると、雑な説明になっています。 …