困った点 import numpy as np data = np.array([1.23, 4.56, 7.89], dtype=np.float32) no_value = np.float32(-9999) factor = 100 data = np.ma.masked_equal(data, no_value) # 1. Using data[~data.mask] result1 = data[~data.mask] * factor print(res…

ランキング参加中Python uvとは？ uvとは、pythonにおけるパッケージ管理ツールです。 2024年3月に公開されたツールです。 github.com uvの何がいい？ uvは、Rust製であり、その最大の強みは速さです。 pyenv pip venv poetry に代わる新たなパッケージ管理…

numpy2系のリリースが2024/6/16にされました。 PythonにおけるNumpyといえば、最もよく使われるライブラリの１つということもあり、後方互換性において各所でエラーが出るのでは？と危惧していました。 www.geeksforgeeks.org そこで、筆者が実際に体験したn…

背景 使わなくても書けるが、PythonにはNamedTupleやTupleなど”型”に対するサポートが手厚くなっています（所謂、型ヒント）。 Pythonが初めてのプログラミング言語で、かつ中級者程度になってくると グローバル変数などを多用し、型を意識せずに、コーディ…

はじめに 本記事では、pytestのデコレータである@pytest.mark.parametrizeについて使い方を解説します。 この記事で挙げるポイント @pytest.mark.parametrizeの使い方とメリット この記事で挙げないポイント pytestの基本概念や説明 pytestを用いたassertに…

はじめに 先日、”良いコード/悪いで学ぶ設計入門”を読みました。 https://amzn.to/4fQVvBD 本書で触れられていた内容について、この記事ではPythonコードでの具体例を交えながら、紹介したいと思います。 一部紹介になりますので、ぜひ本書の購入して読んで…

ランキング参加中Python この記事でわかること parquetなにそれ・おいしいの？から脱却できます parquetがCSVと比較したときのメリット・デメリットがわかります parquetの良さをテキストだけでなく、実コードを通じて感じることができます parquetとは 本記…

ランキング参加中Python ランキング参加中AWS (Amazon Web Services) はじめに・背景 2024/11/18にAWS LambdaのPythonにおけるSnapStartの有効化がGA（一般提供開始）になりました。 Pythonの最大の欠点である速度の改善につながるUpdateになります。 本記事…

ランキング参加中Python はじめに・前提 numpyにかかるバグ？っぽい挙動を発見したので、その共有記事です。 本内容については、Github issuesとして共有済みです（2024.11.9現在返信待ち）。 github.com 前提となる実行環境は以下のとおりです。 Python 3.1…

ランキング参加中Python やりたいこと Github Actionsを用いてpep8のチェックを自動で行うようにしたい また、下記の条件下でGithub Actionsを起動させるようにしたいと思います mainブランチに対してPull Requestがあったとき チェックの結果をGithub上のイ…

ランキング参加中Python この記事の対象者 Pythonでlogを書き始めたい人 loggerについて学びたい人 print()をログ代わりに使っている人 なぜlogを書くのか？ 理由は色々あると思いますが、個人的にprintではなくlogが必要な理由は下記があると考えます。 pri…

背景 netCDFは、多次元データを格納するのに便利な拡張子です。 気象、海洋、気候の世界では広く使われています。 一方で、このデータの課題として、多次元配列が故にファイルサイズが大きくなることが挙げられます。 これにより、データの読み込み時にメモ…

ランキング参加中AWS (Amazon Web Services) ランキング参加中Python 背景 EC2はデフォルトでは、PythonのVersionが非常に古いです。 そこで、EC2のVersionUpを試みるも環境構築に苦戦するケースが散見されます。 巷にあふれる同様のHow To記事も見かけます…

ランキング参加中Python 0. 背景 1. cartopyをinstallする 2-1. 海岸線を描く 2-2. 緯度・軽度線を描く 2-3. 国境線を描く 2-4. 表示されるエリアを日本域だけにする 2-5. 複数のグラフを作成する 2-6. 海や陸地に色をつける 2-7. パラパラ漫画(.gif)を作成…

ランキング参加中Python 背景 Python高速化のテクニック、ベクトル志向演算でどれだけ高速ができるか検証してみました。 高速化の題材は、for文ループを用いて、どれだけ差がでるかを検証してみました。 Python高速化については、以下を参照してください。 w…

ランキング参加中Python 背景 Python初心者あるあるをまとめます。 また、その改善策も合わせて紹介します。 あるある１：多重forループ for i in range(10): for j in range(10): for k in range(10): print(i, j, k) 本当に多重ループが必要でしょうか？よ…

背景 テストコードを書いてください このときにどんなテストコードを書けばいいでしょうか？ 具体例をベースにテストケースの考え方について、本記事では考えます。 テストの種類 テストには、 単体テスト 結合テスト システムテスト 等があります。 ここで…

ランキング参加中Python 背景 2024年6月24日に「爆速Python」が出版されました。 Pythonユーザーにとって、「高速化」は常に求められる処理であり、本書から今すぐ使えるテクニックを抽出しようと思います。 データ分析を高速化するテクニック 本書を通じて…

ランキング参加中Python サマリー うるう年に伴う計算（日数計算や月合計時間の計算）は自前で書かない（calenderライブラリを使う） うるう年の定義は正確には4年に1回ではないので、ロジックミスが起きる 自前で作ると、コードの可読性が下がるので、レビ…

ランキング参加中Python 背景 Pythonユーザー初級〜中級者の方にとって、 書いたコードの正しさを効率的にテストしたい と考えるのではないでしょうか。 Pythonには、テストフレームワークはいくつもありますが、pytestの人気が高いことは明らかです。 そこ…

ランキング参加中Python 結論 フォントはこだわらない、だけど日本語は使いたいそこのあなたへ！ 解決策1 import matplotlib.pyplot as plt import cartopy.crs as ccrs plt.rcParams["font.family"] = "Osaka" plt.title("これで日本語が使えるはずです") …

Lambdaのランタイムサポートが終わるとどうなる？ AWS Lambdaは、FaaS（Function as a Service）、サーバーレスサービスの実現において非常に重要な役割を担っています。 一方で、サポートするランタイムの変遷も早く、適宜Version Upを行っていく必要性が求…

問題 npm iを叩くと以下のようなエラーに遭遇 npm WARN deprecated @npmcli/move-file@1.1.2: This functionality has been moved to @npmcli/fs npm WARN deprecated stringify-package@1.0.1: This module is not used anymore, and has been replaced by …

はじめに ベクトルデータからデータを切り出す方法は以前、こちらでも紹介しました。 www.yuta-nakata.net 今回は、より高速に・Tipsも交えて追加の内容があるのでご紹介します。 結論 import pandas as pd import shapely # 取得したい緯度・経度 lon = 135…

Lambda（Python）でPandasを使ってる方は、多いのではないのでしょうか？ 弊社では、サーバーレスがファーストチョイスとしてよく使われるため、Lambdaの出現頻度が高いです。 このPandasですが、Lambdaの世界（FaaS)で使う際の高速化の方法についてお教えて…

私自身、立ち上げ期のSaaSサービス・Webサービスの開発、個人開発を通じて学んだ立ち上げ期に役に立つサービスをまとめます。 そもそも、なぜ立ち上げ期で役に立つのか？ サービス立ち上げ時は、とにかく爆速でコンテンツの充実・プロダクトの中身を作ってい…

現場のエンジニア目線でPythonのコードの書き方について、初学者から未経験エンジニアに知ってもらいたい内容です。 一般的な話が多く、現場のスタイルに制限されるものではないので色々なところで使えるかと思います。 やってほしくないこと 変数名をカタカ…

ランキング参加中Python 結論 具体例 使い方のイメージ 結論 pythonには、lru_cacheと呼ばれる標準機能があります。 個人的に、納得できる解説がなかったので、ここにまとめます。 結論、下記のようにまとめられます。 言葉で説明すると、 メソッドのある引…

ランキング参加中Python ランキング参加中AWS (Amazon Web Services) 今日は、AWS Lambda, Python, 並列処理について書こうと思います。 背景 プログラム 背景 Lamdaでデータをダウンロードする時間を圧縮したい！ プログラム 下記の例では、awswranglerを用…

ランキング参加中Python ランキング参加中AWS (Amazon Web Services) 1. awswranglerってなに？ 2. Boto3/Pandasではなく、awswranglerを使う実践的なコード 2-1. boto3/pandasを使う場合 2-2. awswranglerを使う場合 3. なんでawswrangler？ 4. 参考文献 1.…