ランキング参加中Python はじめに・前提 numpyにかかるバグ？っぽい挙動を発見したので、その共有記事です。 本内容については、Github issuesとして共有済みです（2024.11.9現在返信待ち）。 github.com 前提となる実行環境は以下のとおりです。 Python 3.1…

ランキング参加中Python やりたいこと Github Actionsを用いてpep8のチェックを自動で行うようにしたい また、下記の条件下でGithub Actionsを起動させるようにしたいと思います mainブランチに対してPull Requestがあったとき チェックの結果をGithub上のイ…

ランキング参加中Python この記事の対象者 Pythonでlogを書き始めたい人 loggerについて学びたい人 なぜlogを書くのか？ 理由は色々あると思いますが、個人的にprintではなくlogが必要な理由は下記があると考えます。 print()では、いつ起きたかがわからない…

背景 netCDFは、多次元データを格納するのに便利な拡張子です。 気象、海洋、気候の世界では広く使われています。 一方で、このデータの課題として、多次元配列が故にファイルサイズが大きくなることが挙げられます。 これにより、データの読み込み時にメモ…

ランキング参加中AWS (Amazon Web Services) ランキング参加中Python 背景 EC2はデフォルトでは、PythonのVersionが非常に古いです。 そこで、EC2のVersionUpを試みるも環境構築に苦戦するケースが散見されます。 巷にあふれる同様のHow To記事も見かけます…

ランキング参加中Python 0. 背景 1. cartopyをinstallする 2-1. 海岸線を描く 2-2. 緯度・軽度線を描く 2-3. 国境線を描く 2-4. 表示されるエリアを日本域だけにする 2-5. 複数のグラフを作成する 2-6. 海や陸地に色をつける 2-7. パラパラ漫画(.gif)を作成…

ランキング参加中Python 背景 Python高速化のテクニック、ベクトル志向演算でどれだけ高速ができるか検証してみました。 高速化の題材は、for文ループを用いて、どれだけ差がでるかを検証してみました。 Python高速化については、以下を参照してください。 w…

ランキング参加中Python 背景 Python初心者あるあるをまとめます。 また、その改善策も合わせて紹介します。 あるある１：多重forループ for i in range(10): for j in range(10): for k in range(10): print(i, j, k) 本当に多重ループが必要でしょうか？よ…

背景 テストコードを書いてください このときにどんなテストコードを書けばいいでしょうか？ 具体例をベースにテストケースの考え方について、本記事では考えます。 テストの種類 テストには、 単体テスト 結合テスト システムテスト 等があります。 ここで…

ランキング参加中Python 背景 2024年6月24日に「爆速Python」が出版されました。 Pythonユーザーにとって、「高速化」は常に求められる処理であり、本書から今すぐ使えるテクニックを抽出しようと思います。 データ分析を高速化するテクニック 本書を通じて…

ランキング参加中Python サマリー うるう年に伴う計算（日数計算や月合計時間の計算）は自前で書かない（calenderライブラリを使う） うるう年の定義は正確には4年に1回ではないので、ロジックミスが起きる 自前で作ると、コードの可読性が下がるので、レビ…

ランキング参加中Python 背景 Pythonユーザー初級〜中級者の方にとって、 書いたコードの正しさを効率的にテストしたい と考えるのではないでしょうか。 Pythonには、テストフレームワークはいくつもありますが、pytestの人気が高いことは明らかです。 そこ…

ランキング参加中Python 結論 フォントはこだわらない、だけど日本語は使いたいそこのあなたへ！ 解決策1 import matplotlib.pyplot as plt import cartopy.crs as ccrs plt.rcParams["font.family"] = "Osaka" plt.title("これで日本語が使えるはずです") …

Lambdaのランタイムサポートが終わるとどうなる？ AWS Lambdaは、FaaS（Function as a Service）、サーバーレスサービスの実現において非常に重要な役割を担っています。 一方で、サポートするランタイムの変遷も早く、適宜Version Upを行っていく必要性が求…

問題 npm iを叩くと以下のようなエラーに遭遇 npm WARN deprecated @npmcli/move-file@1.1.2: This functionality has been moved to @npmcli/fs npm WARN deprecated stringify-package@1.0.1: This module is not used anymore, and has been replaced by …

はじめに ベクトルデータからデータを切り出す方法は以前、こちらでも紹介しました。 www.yuta-nakata.net 今回は、より高速に・Tipsも交えて追加の内容があるのでご紹介します。 結論 import pandas as pd import shapely # 取得したい緯度・経度 lon = 135…

Lambda（Python）でPandasを使ってる方は、多いのではないのでしょうか？ 弊社では、サーバーレスがファーストチョイスとしてよく使われるため、Lambdaの出現頻度が高いです。 このPandasですが、Lambdaの世界（FaaS)で使う際の高速化の方法についてお教えて…

私自身、立ち上げ期のSaaSサービス・Webサービスの開発、個人開発を通じて学んだ立ち上げ期に役に立つサービスをまとめます。 そもそも、なぜ立ち上げ期で役に立つのか？ サービス立ち上げ時は、とにかく爆速でコンテンツの充実・プロダクトの中身を作ってい…

現場のエンジニア目線でPythonのコードの書き方について、初学者から未経験エンジニアに知ってもらいたい内容です。 一般的な話が多く、現場のスタイルに制限されるものではないので色々なところで使えるかと思います。 やってほしくないこと 変数名をカタカ…

ランキング参加中Python 結論 具体例 使い方のイメージ 結論 pythonには、lru_cacheと呼ばれる標準機能があります。 個人的に、納得できる解説がなかったので、ここにまとめます。 結論、下記のようにまとめられます。 言葉で説明すると、 メソッドのある引…

ランキング参加中Python ランキング参加中AWS (Amazon Web Services) 今日は、AWS Lambda, Python, 並列処理について書こうと思います。 背景 プログラム 背景 Lamdaでデータをダウンロードする時間を圧縮したい！ プログラム 下記の例では、awswranglerを用…

ランキング参加中Python ランキング参加中AWS (Amazon Web Services) 1. awswranglerってなに？ 2. Boto3/Pandasではなく、awswranglerを使う実践的なコード 2-1. boto3/pandasを使う場合 2-2. awswranglerを使う場合 3. なんでawswrangler？ 4. 参考文献 1.…

課題背景 地理情報系のデータを扱う際、ベクトルデータとラスターデータがあります。 これらのデータは、度々巨大であることが多く、素直にデータを読み込むと、読み込み処理が重いという現象があります。 そこで、今回は、大きなデータであっても、データサ…

はじめに 弊社では、基本的にAWSをベースに開発をしており、クラウド・サーバーレスが基本になっています。 この環境は、様々な面でメリットをもたらす一方で、従量課金型のサービスであるパブリッククラウドにて、予期せぬ出来事が起きないように、利用料金…

ランキング参加中AWS (Amazon Web Services) ランキング参加中Python はじめに AWS Lambdaは、サーバーレスアプリケーション開発において、とても重宝します。 15分でタイムアウトや、メモリサイズ・エフェメラルストレージに制限があったり、サードパーティ…