Yuta NakataのBlog

Python / AWS / ITについて役立つ情報を発信します

2024-09-01から1ヶ月間の記事一覧

【2024年 完全版】SFC修行まとめ 〜最高効率ルートから㊙テクニックまで〜

ランキング参加中ANA スーパーフライヤーズ(SFC) 2024年にSFC修行を敢行しました。 この記事では、 私自身のSFC修行の全記録 効率的なPPの稼ぎ方 についてお話しようと思います。 私のSFC修行の全記録 修行① 複数往復による費用の最小化 修行②:PP単価を意識…

【Python】print()を卒業してloggerを始める

ランキング参加中Python この記事の対象者 Pythonでlogを書き始めたい人 loggerについて学びたい人 なぜlogを書くのか? 理由は色々あると思いますが、個人的にprintではなくlogが必要な理由は下記があると考えます。 print()では、いつ起きたかがわからない…

【Performance Tuning of Amazon Athena】Athenaのパフォーマンスを上げる

背景・前提 施策1. パーティションを使う 施策2. 読み込ませるデータを圧縮する 施策3. ファイル数を分割する 施策3. 結合を最適化する 施策4. LIKE句の使用は控える 施策5. 近似関数を使う 施策6. 必要ない列は含めない 施策6. クエリ結果を再利用 最後に …

netcdfファイルを軽量化する方法

背景 netCDFは、多次元データを格納するのに便利な拡張子です。 気象、海洋、気候の世界では広く使われています。 一方で、このデータの課題として、多次元配列が故にファイルサイズが大きくなることが挙げられます。 これにより、データの読み込み時にメモ…