aws cliの認証
awsをCLIから操作するには、その名もawsコマンドを用いる。 これに認証を設定する方法をメモする。
Posts by Year
2024
sqliteで複数のDBを使う
SQLiteは1ファイルが1データベースに対応する。このデータベースの中では、すべてのテーブルが同じ名前空間に属し、他のDBエンジンが持つスキーマのような概念はないらしい。
relativedelta
日付を扱うときには、1ヶ月後とか、月末・月初など、単純な日数の足し引きでは扱えないケースがある。そういう場合の便利ライブラリとしてdateutilというのがあることを知ったのでメモしておく。
matplotlibで軸を揃える
matplotlibで1枚のFigureに複数のグラフをプロットしたときに、その軸を揃えたいときがある。
徳丸本の読書メモ
徳丸本を読んだので、メモを残しておく。ほんとに自分用のメモでしかないが、そのうち清書するかもしれない。
Launch Controlでsudoする
Macで、一定時間ごとに何かしたい・ログイン時に何かしたい、というようなジョブ管理をするには、launchdを使う。これを使って、ログイン時に自動でVPNに接続するコマンドを叩きたい・・のだが、rootで実行する必要があるので、ひと手間が必要になる。
変分ベイズとVAE
変分ベイズの手順について、調べるたびに分かった気になっては、また必要になったら調べるということを繰り返しているので、ここにメモしておく。
echoでキャリッジリターン
echoコマンドに\rを表示させるとキャリッジリターンをしてくれる。
jsonschemaのメモ
システムの外部から来たものは信頼できないので検証をしたい。 少なくともフォーマットが正しく期待している形であるという前提を確かめたい。 そんなときに、jsonで期待するフォーマットを記述して検証できるライブラリがあると便利で、私はjsonschemaをよく使う・・ので、よく使う機能をメモしておく。 使い方は、公式...
pandasのgroupbyでカスタム関数
pandasのDataFrameのgroupbyでは、もともと用意されている集約関数だけではなく、カスタム関数を使うことができる。
2023
clickの基本的なサンプルコード
たまに使うんだけど毎日使うというほどでもないので使い方を何回も調べている道具シリーズ。
matplotlibのx軸ラベルを45°傾ける
たまに使うんだけど毎日使うというほどでもないので使い方を何回も調べている道具シリーズ。
ターミナルで色を変えてechoする
color.zsh
asyncioで複数のタスクを並列に走らせる
asyncioを使って、複数の処理を並列に走らせるコードをメモしておく。
signalハンドラの登録
Pythonのプログラムで、いわゆるシグナルを扱うには、signalパッケージを用いて、ハンドラを登録することになる。以下、サンプルである(signal-sample.py)。
asyncioで並列に走っているタスクを中断する
前回は、asyncioで複数のTaskを並列に実行するコードを書いた。今回は、実行を開始したTaskを中断したり再開したりする方法をメモする。
watchdogの使い方メモ
サーバープログラムを開発していると、開発中のサーバーを起動しっぱなしにしておきつつ、何かしら変更を加えた際には自動で再起動されてほしい。 Pythonでは、どういうツールがあるのかなと調べたら、watchdogというツールが見つかったので使い方をメモしておく。
入れ子になったargparseのアクションを定義する
前回の記事のコード例ではパーサーの定義だけしか書いていなかったが、サブコマンドごとに異なるアクションを割り当てなければ意味がないので、その方法をメモがてらブログに残しておく。
argparseでサブコマンドを入れ子にする
たまに使うんだけど毎日使うというほどでもないので使い方を何回も調べている道具シリーズ。
ParamSpecの利用例
ParamSpecを使うと、デコレータを定義する際に、デコレートされる関数の引数の型情報を明示的に扱うことができる(昨日のブログ)。 ParamSpecを提案しているPEPでは、単純に型情報を保つだけではなく、引数の型に制約を導入するような例が挙げられている。
引数の型情報を保つデコレータ
デコレータによって関数を修飾した際、単純な例では、型チェッカが自動で型を推論してくれる。
名前からオブジェクトを得る。オブジェクトの名前を得る
たまに使うんだけど毎日使うというほどでもないので使い方を何回も調べている道具シリーズ。
型チェック時だけコードを有効にする
typing.TYPE_CHECKINGという変数があり、こいつは型チェックのときだけTrueになるようだ。
線型計画では、目的関数に絶対値を含めることができる
線型計画(Linear Programming, LP)では、目的関数に絶対値を含めることができるということを知った。面白いトリックなのでメモしておく。参考文献
jinjaテンプレートの使い方メモ
たまに使うんだけど毎日使うというほどでもないので使い方を何回も調べている道具シリーズ。jinja2の使い方をメモしておく。
git submodule使ってるけど–recursiveを忘れてcloneしたとき
git submodule update --init --recursive
retryを考慮したasyncioによる並列処理
ネットワーク越しのリクエストなど、I/O boundな処理をたくさん実行する際には、asyncioが便利である。
gcloud auth loginとgcloud application-default login
gcloudは、GCPのリソースを、CLIで管理するためのコマンドである。gcloudの下に、サービス/機能ごとに様々なサブコマンドがぶら下がっている。 認証周りを管理するサブコマンドとしてgcloud authがあるのだが、これの下のサブコマンドに、
シェルスクリプトで、スクリプトファイルが置かれたディレクトリのパスを取得する方法
シェルスクリプトの中で、何かしらの設定値をファイルに保存したいと思った。そのときに、スクリプト自身の横に設定ファイルを置きたいなと思い、そのファイルのパスを取得する必要が出たので調べた。
gcloud用に書く.envrc
gcloudは、GCPの各種リソースをコマンドで操作するためのCLIツールである。 GCPのリソースを操作するので、当然に適切なアカウントでの認証が必要になる。 複数の組織やプロジェクトに同時に関わっていると、それぞれのタスクごとにgoogleアカウントを切り替える必要があり、手動で管理するには限界がある。
prefectの使い方をメモ
Python製のワークフローエンジンprefectの基本的な使い方をメモする。
Flaskの単体テスト
Flaskでは、flask.testingという単体テスト用のモジュールが提供されている。 これをpytestで利用する場合の使い方をメモしておく。
2022
mermaidを使う
mermaidという、様々なフォーマットでグラフやネットワークを表現できる言語があります。 私は、少し前にGitHubが、markdown上のmermaidを画像に変換して描画するようにになったのをキッカケに使い始めました。
数式を使う
ブログでは数式も使いたくなると思うので、jekyllでtexを描画するための設定を導入しました。 参考
Scrapyの使い方 Permalink
Scrapyの使い方についてQiitaに記事を投稿しました。
このブログについて
このブログは、jekyllで構築されています。 テーマとしてminimal mistakeを採用していますが、少し自分好みに変更を加えているので、 備忘を兼ねて、内容をここにまとめておきます。
初めまして、inctoreです
初めまして、inctoreの中の人の堀越です。 合同会社inctoreは、私がフリーランスエンジニアとしてお仕事をお受けするための窓口として設立しました。 こちらのサイトでは、