プログラミングTips on えやみぐさ

VSCode PS1ファイルを開きながら統合ターミナルを開いたとき、PowerShell Extensionsが自動起動しないようにする

Sat, 29 Nov 2025 13:15:00 +0900

VSCodeのターミナルパネルでランダムにPowerShell Extensionsが自動的に起動してしまうことに悩まされていたので、その対処法をメモしておきます。

Windows 11 25H2
PowerShell 7.5
VSCode 1.106
VSCode拡張 PowerShell 2025.4.0

VSCodeの統合ターミナルには普段はGit Bashを使っていて、PowerShellスクリプトは他のシェルからpwshコマンドで実行しています。

ところが、Ctrl + Shift + @などでターミナルパネルにGit Bashを開こうとすると、PowerShell Extensionsが勝手に起動することがあり、デフォルトターミナルのように振る舞うので、その度に終了して、Git Bashに戻す手間が発生していました。

どうやら、これはVSCodeのPowerShell拡張の機能で、 PS1ファイルを開いているときにVSCodeの統合ターミナルを開くと、 PowerShell Extensionsが自動的に起動するようです。

これを回避するために、拡張機能の設定でPowerShell Extensionsが自動起動しないようにします。

WSL側には影響しないため、Windows側のVSCodeウインドウを開きます。

Ctrl + , を押して設定画面を開き、検索ボックスにpowershell startと入力します。

PowerShell > Start Automaticallyという設定項目が表示されるので、チェックを外します。

これで、PS1ファイルを開いているときにターミナルを開いても、PowerShell Extensionsが自動起動しなくなりました。

Dockerfileでイメージ内の既存ディレクトリ宛にADD/COPYした場合の挙動を調べた

Fri, 13 Oct 2023 12:50:00 +0900

Docker Engine 24.0

Dockerイメージのビルド時に、イメージ内のディレクトリ構造に、同じディレクトリ構造をもつホスト側ディレクトリを追加した場合の挙動を確認したい。 cp -rやrsync -aのような挙動を期待するが、動作を検証してみた。

結果として、cp -rやrsync -aのように、既存のディレクトリ内容を維持して、新しいファイルを追加し、重複するファイルがあれば上書きする挙動をした。

ADD - Dockerfile reference | Docker Docs

ADDでファイルが重複しない場合

イメージ内に以下のようなディレクトリ構造を構築する。

/hoge
- fuga
- piyo/
  - hogera

RUN <<EOF
    set -eu

    mkdir /hoge
    touch /hoge/fuga
    mkdir /hoge/piyo
    touch /hoge/piyo/hogera
EOF

ビルドコンテキストディレクトリに以下のようなディレクトリ構造を構築する。このディレクトリを先ほどのイメージ内の/hogeにADDする。

hoge/
- fugera
- piyo/
  - hogerara

ADD ./hoge /hoge/

結果表示用のtreeコマンドをインストールするコマンドを加えて合わせると、以下のようなDockerfileになる。

# syntax=docker/dockerfile:1.6
FROM ubuntu:22.04

RUN <<EOF
    apt-get update
    apt-get install -y \
        tree
    apt-get clean
    rm -rf /var/lib/apt/lists/*
EOF

RUN <<EOF
    set -eu

    mkdir /hoge
    touch /hoge/fuga
    mkdir /hoge/piyo
    touch /hoge/piyo/hogera
EOF

ADD ./hoge /hoge/

docker build -t doco .
docker run --rm -it doco

# tree /hoge
/hoge
|-- fuga
|-- fugara
`-- piyo
    |-- hogera
    `-- hogerara

1 directory, 4 files

既存のディレクトリの内容を維持したまま、新しいファイルが追加される。

SNS・Fediverseの投稿インテントURL

Mon, 07 Aug 2023 15:50:00 +0900

Twitter (X)、Misskey、Mastodonには、URLのGETパラメータに投稿本文などを付けて、ミニブログの入力を補助する機能（投稿インテントURL機能）があります。

この記事では、各サービス・ソフトウェアの投稿インテントURLの仕様について記載します。

Twitter Web Intent (2023-07-19時点)

ドキュメント: Web Intent | Docs | Twitter Developer Platform

https://twitter.com/intent/tweet

GETパラメータ	備考
text
url
hashtags
via
related
in_reply_to

Misskey 共有フォーム (v13.13.2時点, 2023-07-13)

ドキュメント: 共有フォーム | Misskey Hub

Misskey.ioを例とします。

https://misskey.io/share?text=hello

GETパラメータ	備考
title
text
url
replyId
replyUri
renoteId
renoteUri
visibility
localOnly
visibleUserIds
visibleAccts
fileIds

Mastodon (v4.1.4時点, 2023-07-08)

ドキュメント: 見つけられなかった
- 実装はここ: https://github.com/mastodon/mastodon/blob/3f5af768c8f1401f77d14ad5b6aeccdb7e02a9f0/app/helpers/application_helper.rb#L196-L204

mstdn.aoirint.comを例とします。

Pythonプロジェクトの作成（pyenv + Poetry）

Mon, 07 Aug 2023 15:45:00 +0900

バージョン情報

定義・ディレクトリ構成

説明のため、プロジェクトディレクトリ名my_project、パッケージ名my-project、主要なモジュール名my_projectとします。

以下のようなディレクトリ構成にすることを想定しています。

- my_project/
  - pyproject.toml
  - Dockerfile
  - my_project/
    - __init__.py
    - __main__.py
    - cli.py
  - tests/
    - __init__.py
    - test_my_project.py

Python/Poetryのインストール

pyenvでPythonをインストールします。記事作成時点で最新のリビジョン（0.0.x）を記載していますが、適宜新しいバージョンが出ているか確認し、更新してください。マイナーバージョン（0.x.0）を変更する場合、依存する予定のライブラリが動作するかなど、プロジェクトの要件と相談してください。

env PYTHON_CONFIGURE_OPTS="--enable-shared" pyenv install 3.11.9

PYTHON_CONFIGURE_OPTS="--enable-shared"は、PyInstallerが動作するようにするために設定しています。

pyenv and PyInstaller — PyInstaller 6.5.0 documentation

Poetryをインストールします。

Poetry Installation

# Linux, macOS, WSL
curl -sSL https://install.python-poetry.org | python3 -

# Windows (PowerShell)
(Invoke-WebRequest -Uri https://install.python-poetry.org -UseBasicParsing).Content | python -

Poetryプロジェクトの作成

Poetryのグローバル設定を変更し、Python仮想環境がプロジェクトのディレクトリ/.venvに作成されるようにします。これは、VSCode拡張機能のPylanceがPython仮想環境を認識できるようにする、または手動で設定しやすくするための変更です。

GitLab CI, DockerイメージをビルドしてContainer Registryにpushする（2023年版）

Thu, 18 May 2023 11:00:00 +0900

前回の記事（2021年版）から、以下の内容でアップデートしました。

Docker Engine 24.0
BuildKit
レイヤーキャッシュ（Registry cache）
タグによるバージョン付け

注意：Self Hosted GitLab RunnerでのDockerデーモンを使ったイメージビルドは推奨しません

DinDでのビルドのため、ホストOSのroot権限が取得可能な、コンテナの特権実行（--privileged）、またはDockerソケットのマウント（DooD）が要求されます。

GitLab.comのShared Runnerは使い捨てのGCPインスタンスで提供されるため、コンテナブレイクアウト等によりホストのroot権限が取得されても、 Dockerエンジンのホストである仮想マシンごと破棄されますが、そのような工夫をしていないRunner（VPSやベアメタル）では、 CIジョブの実行により、ホストのroot権限で悪意ある操作が実行され、また、その影響が持続する危険性があります。

Dockerデーモンを必要としない、代替ソフトウェアによるDockerイメージビルドを検討してください。

リポジトリ構造

.gitlab-ci.yml
Dockerfile

.gitlab-ci.yml

# License: CC0-1.0
stages:
  - build

build:
  stage: build
  image: docker:24.0
  services:
    - docker:dind
  rules:
    # Release
    - if: $CI_COMMIT_TAG
      variables:
        DOCKER_IMAGE_NAME_AND_TAG: "${CI_REGISTRY_IMAGE}:${CI_COMMIT_TAG}"
        DOCKER_CACHE_FROM: "type=registry,ref=${CI_REGISTRY_IMAGE}:latest-buildcache"
        DOCKER_CACHE_TO: ""
    # Default branch
    - if: $CI_COMMIT_BRANCH == $CI_DEFAULT_BRANCH
      variables:
        DOCKER_IMAGE_NAME_AND_TAG: "${CI_REGISTRY_IMAGE}:latest"
        DOCKER_CACHE_FROM: "type=registry,ref=${CI_REGISTRY_IMAGE}:latest-buildcache"
        DOCKER_CACHE_TO: "type=registry,ref=${CI_REGISTRY_IMAGE}:latest-buildcache,mode=max"
  script:
    - apk add --no-cache git
    - docker buildx create --use
    - docker login -u "${CI_REGISTRY_USER}" -p "${CI_REGISTRY_PASSWORD}" "${CI_REGISTRY}"
    - >
      docker buildx build .
      -t "${DOCKER_IMAGE_NAME_AND_TAG}"
      --cache-from "${DOCKER_CACHE_FROM}"
      --cache-to "${DOCKER_CACHE_TO}"
      --push

※ docker buildx buildのコマンドは複数行になっていますが、2行目以降を1行目と異なるインデント数にしないでください。2行目以降が別のコマンド扱いになり、動作しなくなります。

`docker buildx create --use`

docker buildx build実行時に、以下のようなエラーが出るため追加しています。

Selenium HTTPリクエストのURLを記録する（Chrome, Python）

Mon, 24 Apr 2023 16:30:00 +0900

Selenium 4.9.0
Chrome 112
ChromeDriver 112.0.5615.49
Python 3.11

import time
import json
from selenium.webdriver import (
    Chrome,
    DesiredCapabilities,
)


desired_capabilities = DesiredCapabilities.CHROME
desired_capabilities["goog:loggingPrefs"] = {
    "performance": "ALL",
}

driver = Chrome(
    desired_capabilities=desired_capabilities,
)
driver.implicitly_wait(5)

driver.get("https://www.google.com/")

known_url_set = set()

while True:
    performance_log_entries = driver.get_log("performance")

    for log_entry in performance_log_entries:
        log_message = json.loads(log_entry.get("message", "{}")).get("message", {})

        method = log_message.get("method")
        params = log_message.get("params", {})

        if method == "Network.responseReceived":
            response = params.get("response", {})
            url = response.get("url")

            if url in known_url_set:
                continue
            known_url_set.add(url)

            print(url)

    time.sleep(1)

Selenium デフォルトダウンロードディレクトリを変更する（Chrome, Python）

Mon, 24 Apr 2023 16:10:00 +0900

Selenium 4.9.0
Chrome 112
ChromeDriver 112.0.5615.49
Python 3.11

from selenium.webdriver import (
    Chrome,
    ChromeOptions,
)


download_dir = "./downloads"
os.makedirs(download_dir, exist_ok=True)

options = ChromeOptions()
options.add_experimental_option("prefs", {
    "profile.default_content_settings.popups": 0,
    "download.default_directory": os.path.realpath(download_dir),
    "download.prompt_for_download": False,
    "download.directory_upgrade": True,
})

driver = Chrome(
    options=options,
)

python - How to change download directory location path in Selenium using Chrome? - Stack Overflow

FFmpegで動画を逆再生化するPythonスクリプト

Tue, 18 Apr 2023 21:40:00 +0900

MATVToolに組み込むかもしれませんが、いまのところ詳細な動作検証をするほど需要がないので、簡易的にここに置いておきます。

動画ファイルによっては、フレームの欠け、重複が発生したり、変換に失敗するかもしれません。

Python 3.11.3
FFmpeg 4.2.7-0ubuntu0.1
Ubuntu 20.04 (WSL2)

python3 main.py input.mp4 output.mp4

# License: CC0-1.0
import os
import subprocess
import tempfile
import re
import math


def get_duration_seconds(input_file: str) -> float:
    proc = subprocess.run(
        [
            'ffmpeg',
            '-hide_banner',
            '-i',
            input_file,
        ],
        stderr=subprocess.PIPE,
    )
    lines = proc.stderr.decode(encoding='utf-8').splitlines()

    # hh:mm:ss.ff
    duration_string = None
    for line in lines:
        m = re.match(r'^\s*Duration:\s(.+?),.*$', line)
        if m:
            duration_string = m.group(1)
            break

    assert duration_string is not None

    hours = int(duration_string[0:2])
    minutes = int(duration_string[3:5])
    seconds = int(duration_string[6:8])
    milliseconds = float('0.' + duration_string[9:11])

    return hours * 3600 + minutes * 60 + seconds + milliseconds


def parse_time(string: str) -> float:
    """
        string: HH:MM:SS.FF
    """
    hours = int(string[0:2])
    minutes = int(string[3:5])
    seconds = int(string[6:8])
    milliseconds = float('0.' + string[9:11])

    return hours * 3600 + minutes * 60 + seconds + milliseconds


def format_time(seconds: int) -> str:
    hours_minutes = seconds // 60
    hours = hours_minutes // 60
    minutes = hours_minutes - hours * 60
    local_seconds = seconds - hours_minutes * 60
    return f'{hours:02d}:{minutes:02d}:{local_seconds:02d}'


def main():
    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument('input_file', type=str)
    parser.add_argument('output_file', type=str)
    parser.add_argument('--split_duration', type=int, default=10)
    args = parser.parse_args()

    input_file = args.input_file
    output_file = args.output_file
    split_duration = args.split_duration

    duration_seconds = math.ceil(get_duration_seconds(input_file=input_file))
    count = math.ceil(duration_seconds / split_duration)

    work_dir_obj = tempfile.TemporaryDirectory()
    work_dir = work_dir_obj.name

    part_output_file_list = []
    for index in range(count):
        start = index * split_duration
        end = start + split_duration

        start_string = format_time(start)
        end_string = format_time(end)
        print(index, start_string, end_string)

        part_output_file = os.path.join(work_dir, f'output{count-index}.mp4')

        subprocess.run([
            'ffmpeg',
            '-hide_banner',
            '-ss',
            start_string,
            '-to',
            end_string,
            '-i',
            'input.mp4',
            '-vf',
            'reverse',
            '-af',
            'areverse',
            part_output_file,
        ])
        part_output_file_list.append(part_output_file)
    
    list_file = os.path.join(work_dir, 'list.txt')
    with open(list_file, 'w', encoding='utf-8') as fp:
        for part_output_file in part_output_file_list:
            fp.write(f"file '{part_output_file}'\n")

    subprocess.run([
        'ffmpeg',
        '-hide_banner',
        '-f',
        'concat',
        '-safe',
        '0',
        '-i',
        list_file,
        '-c',
        'copy',
        output_file,
    ])


if __name__ == '__main__':
    main()

参考

markdownlint-cli2

Mon, 17 Apr 2023 13:00:00 +0900

Node.js 18.16.0
markdownlint-cli2 0.6.0
- https://www.npmjs.com/package/markdownlint-cli2

npm install -g markdownlint-cli2

# lint
markdownlint-cli2

# format
markdownlint-cli2-fix

Config .markdownlint-cli2.yaml

Example: https://github.com/DavidAnson/markdownlint/blob/fcb8190781c80b292ac44f6df984326e0e6c69cd/schema/.markdownlint.yaml

# https://github.com/DavidAnson/markdownlint
# https://github.com/DavidAnson/markdownlint-cli2

globs:
  - "**/*.md"

ignores:
  - ".git/**"
  - ".github/**"

config:
  # h1
  MD025: false
  # inline HTML
  MD033: false

GatsbyのsiteMetadataにカスタムデータを追加する

Mon, 17 Apr 2023 12:25:00 +0900

Node.js 18.16.0
Gatsby 5.8.1

gatsby-config.ts

const config: GatsbyConfig = {
  siteMetadata: {
    siteUrl: "https://example.com",
    title: "Example Blog",
    myCustomData: myCustomData,
  },
  graphqlTypegen: true,
  // ...
}

gatsby-node.ts

export const createSchemaCustomization: GatsbyNode['createSchemaCustomization'] = ({ actions }) => {
  const { createTypes } = actions

  createTypes(`
    type MyCustomData {
      text: String
      flag: Boolean
    }
    type SiteSiteMetadata {
      myCustomData: MyCustomData
    }
  `)
}

mypage.tsx

import * as React from "react"
import {
  graphql,
  PageProps,
} from 'gatsby'
import { GetMyPageQuery } from '../gatsby-types'

const MyPage: React.FC<PageProps<GetMyPageQuery>> = (props) => {
  const data = props.data

  const site = data?.site
  const myCustomData = site?.siteMetadata?.myCustomData
  // ...
}

export const pageQuery = graphql`
  query GetMyPage {
    site {
      siteMetadata {
        myCustomData {
          text
          flag
        }
      }
    }
  }
`

export default MyPage

参考

Gitの改行コード自動置換機能（autocrlf）を無効化する

Sun, 16 Apr 2023 12:58:39 +0900

https://stackoverflow.com/questions/21822650/disable-git-eol-conversions

git config --global core.autocrlf false
git add --renormalize .

すでにautocrlfが適用されたファイルを元に戻すために、既存のローカルリポジトリではadd --renormalizeが必要です。

GitのCRLF自動置換機能のためにDocker Buildに失敗する例

改行コードCRLFで以下のようなDockerfileを作成すると、

# syntax=docker/dockerfile:1.4

FROM ubuntu:22.04

RUN <<EOF
    set -eux

    echo "OK"
EOF

以下のようなエラーとなり、ビルドに失敗します。

------
 > [2/2] RUN <<EOF (set -eux...):
#8 0.294 /bin/sh: 1: set: Illegal option -
------
executor failed running [/bin/sh -c     set -eux

    echo "OK"
]: exit code: 2

GitのCRLF自動置換機能によって、Dockerfileの改行コードがCRLFに書き換えられることでも同じことが起きます。 Linuxの仮想化ソフトウェアであるDockerの構成ファイルにCRLFが使われることが想定されないのは理解できます。 ~~WindowsでDockerを扱っていることは理解してください。~~

.gitattributesでリポジトリごとに改行コードのポリシーを変更することができますが、~~令和の時代に改行コードの切り替えができないテキストエディタを使うこともないと思われるので、~~ 不要なCRLF自動置換機能を無効化する方が、たくさんのリポジトリを扱う人には向いているでしょう。

pyenvでPyInstallerを使えるようにする

Sun, 16 Apr 2023 11:03:47 +0900

env PYTHON_CONFIGURE_OPTS="--enable-shared" pyenv install 3.11.3

https://pyinstaller.org/en/stable/development/venv.html

HTTPリクエストからOriginヘッダを削除（Manifest V3 Chrome拡張, Chrome 101+）

Wed, 07 Dec 2022 08:30:00 +0900

動作環境

Google Chrome 108
Manifest V3

内容

Chrome拡張から送られるHTTPリクエストについて、ローカルで動くHTTPサーバhttp://127.0.0.1:8000のOriginチェックを回避するため、 Originヘッダを削除します。

declarativeNetRequest機能を使用します。manifest.jsonのpermissionsにdeclarativeNetRequestWithHostAccess（Chrome 96+）の追記が必要です。

加工するHTTPリクエストを、この拡張機能から送られるHTTPリクエストに絞るため、initiatorDomainsオプション（Chrome 101+）を使用しています。将来的に、より厳密な検査ができるオプションが追加される可能性があります。

chrome.declarativeNetRequestのドキュメント: https://developer.chrome.com/docs/extensions/reference/declarativeNetRequest/

また、CORSを回避するには、manifest.jsonのhost_permissionsにhttp://127.0.0.1:8000/*を追記します。

https://developer.mozilla.org/en-US/docs/Mozilla/Add-ons/WebExtensions/manifest.json/host_permissions

XMLHttpRequest and fetch access to those origins without cross-origin restrictions (though not for requests from content scripts, as was the case in Manifest V2).

background.js

// license: CC0
chrome.declarativeNetRequest.updateDynamicRules({
  removeRuleIds: [1],
  addRules: [
    {
      id: 1,
      priority: 1,
      action: {
        type: 'modifyHeaders',
        requestHeaders: [
          { 'header': 'Origin', 'operation': 'remove' },
        ],
      },
      condition: {
        urlFilter: '127.0.0.1:8000/*',
        initiatorDomains: [chrome.runtime.id], // chrome-extension://{extension_id}
      },
    },
  ],
})

Python, asyncioを使った同期・非同期処理の実装例

Thu, 07 Jul 2022 11:20:00 +0900

Python 3.9.13 (pyenv)
Ubuntu 20.04 (WSL2)
https://github.com/aoirint/python_asyncio_examples

なんかこう書くとうまく動くということしかわからん、という実装例です。

https://twitter.com/aoirint/status/1544891079786627074

基本実装

同期関数から非同期関数を同期的に呼び出す

asyncio.run

Details

import asyncio
import time

def main():
  async def func():
    await asyncio.sleep(3)
    print('func exited') # 1

  asyncio.run(func())

  time.sleep(1)
  print('main exited') # 2

main()

print('exited') # 3

同期関数から非同期関数を非同期的に呼び出す

threading.Thread + asyncio.run

Details

import asyncio
from concurrent.futures import ThreadPoolExecutor
import threading
import time

def main():
  async def func():
    await asyncio.sleep(3)
    print('func exited') # 3

  thread = threading.Thread(target=lambda: asyncio.run(func()))
  thread.start()

  time.sleep(1)
  print('main exited') # 1

main()

print('exited') # 2

非同期関数から同期関数を同期的に呼び出す

ふつうに呼び出す

Details

import asyncio
import time

async def main():
  def func():
    time.sleep(3)
    print('func exited') # 1

  func()

  await asyncio.sleep(1)
  print('main exited') # 2

asyncio.run(main())

print('exited') # 3

非同期関数から同期関数を非同期的に呼び出す

asyncio.new_event_loop + ThreadPoolExecutor + EventLoop.run_in_executor

Details

import asyncio
from concurrent.futures import ThreadPoolExecutor
import time

async def main():
  def func():
    time.sleep(3)
    print('func exited') # 3

  loop = asyncio.new_event_loop()
  executor = ThreadPoolExecutor()
  loop.run_in_executor(executor, func)

  await asyncio.sleep(1)
  print('main exited') # 1

asyncio.run(main())

print('exited') # 2

非同期関数から非同期関数を同期的に呼び出す

awaitキーワード

Details

import asyncio

async def main():
  async def func():
    await asyncio.sleep(3)
    print('func exited') # 1

  await func()

  await asyncio.sleep(1)
  print('main exited') # 2

asyncio.run(main())

print('exited') # 3

非同期関数から非同期関数を非同期的に呼び出す

threading.Thread + asyncio.run

Details

import asyncio
import threading

async def main():
  async def func():
    await asyncio.sleep(3)
    print('func exited') # 3

  thread = threading.Thread(target=lambda: asyncio.run(func()))
  thread.start()

  await asyncio.sleep(1)
  print('main exited') # 1

asyncio.run(main())

print('exited') # 2

非同期関数から同期間数を非同期的に3つずつ呼び出す

asyncio.new_event_loop + ThreadPoolExecutor + EventLoop.run_in_executor

Details

import asyncio
from concurrent.futures import ThreadPoolExecutor
import time

async def main():
  def func():
    time.sleep(3)
    print('func exited') # 3

  loop = asyncio.new_event_loop()
  executor = ThreadPoolExecutor(max_workers=3)
  loop.run_in_executor(executor, func)
  loop.run_in_executor(executor, func)
  loop.run_in_executor(executor, func)

  loop.run_in_executor(executor, func)
  loop.run_in_executor(executor, func)
  loop.run_in_executor(executor, func)

  loop.run_in_executor(executor, func)
  loop.run_in_executor(executor, func)
  loop.run_in_executor(executor, func)

  await asyncio.sleep(1)
  print('main exited') # 1

asyncio.run(main())

print('exited') # 2

よく見るエラー

RuntimeError: Event loop is closed

TBW

Django 3.xから4.xへの更新でPOSTリクエスト時にCSRF検証に失敗する

Fri, 24 Jun 2022 13:10:00 +0900

想定: 3.xで動いていたフォーム送信が4.xへの更新でCSRF検証に失敗するために動かなくなった

settings.pyにCSRF_TRUSTED_ORIGINSを追加すればよい。

https://docs.djangoproject.com/en/4.0/ref/settings/#std-setting-CSRF_TRUSTED_ORIGINS
Origin: e.g. https://example.com
- https://developer.mozilla.org/ja/docs/Glossary/Origin

CSRF検証のドキュメントを3.xと比べると、以下の記述が増えている。

CsrfViewMiddleware verifies the Origin header, if provided by the browser, against the current host and the CSRF_TRUSTED_ORIGINS setting. This provides protection against cross-subdomain attacks.

GitHub ActionsでPyPIにPythonパッケージをpushする（GitHub Release連携でバージョン付け）

Fri, 24 Jun 2022 09:20:00 +0900

https://qiita.com/aoirint/items/09ea153751a65bf4876f#github-release%E4%BD%9C%E6%88%90%E6%99%82%E3%81%ABpypi%E3%81%AB%E3%82%A2%E3%83%83%E3%83%97%E3%83%AD%E3%83%BC%E3%83%89

上の記事のWorkflowテンプレートをちょっと改良した。

GitHub Release作成時にリリースタグをパッケージバージョンにしてpush

構成

mypackage/__init__.pyに以下のように開発用のバージョン情報を記述する。リリース時にGithub Actionsでリリースタグに置換してからPyPIにpushする。

__VERSION__ = '0.0.0'

GitHub Secrets

PYPI_API_TOKEN

GitHub Workflow .github/workflows/pypi.yml

name: Publish a package to PyPI

on:
  release:
    types:
      - created

env:
  VERSION: ${{ github.event.release.tag_name != '' && github.event.release.tag_name || '0.0.0' }}

jobs:
  build:
    runs-on: ubuntu-latest

    steps:
      - uses: actions/checkout@v2

      - name: Setup Python
        uses: actions/setup-python@v2
        with:
          python-version: 3.x

      - name: Install Dependencies
        run: |
            pip3 install -r requirements.txt
            pip3 install wheel
      - name: Replace version
        run: |
          sed -i "s/__VERSION__ = '0.0.0'/__VERSION__ = '${{ env.VERSION }}'/" mypackage/__init__.py
      - name: Build Package
        run: python3 setup.py sdist bdist_wheel

      - name: Publish to PyPI
        uses: pypa/gh-action-pypi-publish@release/v1
        with:
          user: __token__
          password: ${{ secrets.PYPI_API_TOKEN }}

GitHub ActionsでDocker RegistryにDockerイメージをpushする（latestタグ、GitHub Release連携でバージョン付け）

Fri, 24 Jun 2022 09:10:00 +0900

https://blog.aoirint.com/entry/2021/github_actions_docker_io_token/

上の記事のWorkflowテンプレートをちょっと改良した。

Docker Hub以外のDockerレジストリに対応
GitHub Release作成時にリリースタグをイメージタグにしてpush

レジストリURL

Docker Hub: docker.io
GitHub Container Registry: ghcr.io
GitLab Container Registry: registry.gitlab.com

GitHub Secrets

DOCKER_USERNAME
DOCKER_TOKEN

GitHub Workflow .github/workflows/docker.yml

name: Push to Docker registry

on:
  push:
    branches:
      - main
  release:
    types:
      - created

env:
  IMAGE_NAME: docker.io/username/imagename
  IMAGE_TAG: ${{ github.event.release.tag_name != '' && github.event.release.tag_name || 'latest' }}

jobs:
  push:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v2
      
      - name: Setup Docker Buildx
        id: buildx
        uses: docker/setup-buildx-action@v2

      - name: Login to Docker Registry
        uses: docker/login-action@v2
        with:
          registry: docker.io
          username: ${{ secrets.DOCKER_USERNAME }}
          password: ${{ secrets.DOCKER_TOKEN }}

      - name: Build and Deploy Docker image
        uses: docker/build-push-action@v3
        env:
          IMAGE_NAME_AND_TAG: ${{ format('{0}:{1}', env.IMAGE_NAME, env.IMAGE_TAG) }}
        with:
          context: .
          builder: ${{ steps.buildx.outputs.name }}
          file: ./Dockerfile
          push: true
          tags: ${{ env.IMAGE_NAME_AND_TAG }}
          cache-from: type=registry,ref=${{ env.IMAGE_NAME_AND_TAG }}-buildcache
          cache-to: type=registry,ref=${{ env.IMAGE_NAME_AND_TAG }}-buildcache,mode=max

pip-compileでMetadataGenerationFailedの例外が起きる

Fri, 24 Jun 2022 07:10:00 +0900

pip-compileは、pip-toolsパッケージ（jazzband/pip-tools）に含まれるコマンドで、 Pythonパッケージのリストrequirements.inから、依存ツリーのライブラリバージョンリストrequirements.txtを出力してくれる便利なツールである。

入力例 requirements.in

django
requests
gunicorn
mysqlclient
python-dateutil
requests-oauthlib
schedule

pip-compile requirements.in

出力例 requirements.txt

#
# This file is autogenerated by pip-compile with python 3.8
# To update, run:
#
#    pip-compile requirements.in
#
asgiref==3.5.2
    # via django
backports-zoneinfo==0.2.1
    # via django
certifi==2022.6.15
    # via requests
charset-normalizer==2.0.12
    # via requests
django==4.0.5
    # via -r requirements.in
gunicorn==20.1.0
    # via -r requirements.in
idna==3.3
    # via requests
mysqlclient==2.1.1
    # via -r requirements.in
oauthlib==3.2.0
    # via requests-oauthlib
python-dateutil==2.8.2
    # via -r requirements.in
requests==2.28.0
    # via
    #   -r requirements.in
    #   requests-oauthlib
requests-oauthlib==1.3.1
    # via -r requirements.in
schedule==1.1.0
    # via -r requirements.in
six==1.16.0
    # via python-dateutil
sqlparse==0.4.2
    # via django
urllib3==1.26.9
    # via requests

# The following packages are considered to be unsafe in a requirements file:
# setuptools

https://pypi.org/project/pip-tools/ （現在 pip-tools==6.6.2）
https://github.com/jazzband/pip-tools

ところでPythonパッケージは、システムパッケージの事前インストールを要求することがある。以下、システムパッケージ名はDebian/Ubuntuを想定する。

Python subprcess stdout, stderrをキャプチャする

Mon, 06 Jun 2022 14:56:00 +0900

threading

https://ja.stackoverflow.com/questions/60539/subprocess-popenのstdoutとstderrをリアルタイムに取得する

# python 3.9
import subprocess
from threading import Thread

def main():
  command = [
    'mycommand',
    '-opt1',
  ]
  
  proc = subprocess.Popen(
    command,
    stdout=subprocess.PIPE,
    stderr=subprocess.PIPE,
  )

  def read_stdout(stdout):
    for line in stdout:
      line_text = line.decode('utf-8').strip()
      print(f'STDOUT: {line_text}', flush=True)
    print('stdout closed') # closed when process exited

  def read_stderr(stderr):
    for line in stderr:
      line_text = line.decode('utf-8').strip()
      print(f'STDERR: {line_text}', flush=True)
    print('stderr closed') # closed when process exited

  Thread(target=read_stdout, args=(proc.stdout,)).start()
  Thread(target=read_stderr, args=(proc.stderr,)).start()
  
  while True:
    returncode = proc.poll()
    if returncode is not None:
      break
    time.sleep(0.01)

  print(f'exited {returncode}')

asyncio

import time
import asyncio
from concurrent.futures import ThreadPoolExecutor

async def main():
  loop = asyncio.get_event_loop()
  executor = ThreadPoolExecutor(2)

  def operation():
  time.sleep(1)
  print('aaa', flush=True)

  # 2個ずつ実行される（asyncio.runの実行終了まで2秒かかる）
  loop.run_in_executor(executor, operation)
  loop.run_in_executor(executor, operation)
  loop.run_in_executor(executor, operation)
  loop.run_in_executor(executor, operation)

  # main関数の実行はブロックされない
  print('before aaa')

asyncio.run(main())

  import time
  import asyncio
  from asyncio.subprocess import create_subprocess_exec, PIPE
  from concurrent.futures import ThreadPoolExecutor
  
  async def main():
    command = [
      'mycommand',
      '-opt1',
    ]
  
    proc = await create_subprocess_exec(
      command[0],
      *command[1:],
      stdout=PIPE,
      stderr=PIPE,
    )
  
    loop = asyncio.get_event_loop()
    executor = ThreadPoolExecutor()
  
    def read_stdout(stdout):
      while True:
        line = asyncio.run_coroutine_threadsafe(stdout.readline(), loop).result()
        if not line:
          break
        line_text = line.decode('utf-8').strip()
        print(f'STDOUT: {line_text}', flush=True)
      print('stdout closed') # closed when process exited
  
    def read_stderr(stderr):
      while True:
        line = asyncio.run_coroutine_threadsafe(stderr.readline(), loop).result()
        if not line:
          break
        line_text = line.decode('utf-8').strip()
        print(f'STDERR: {line_text}', flush=True)
      print('stderr closed') # closed when process exited
  
    loop.run_in_executor(executor, read_stdout, proc.stdout)
    loop.run_in_executor(executor, read_stderr, proc.stderr)
  
    await proc.wait()
  
    print(f'exited {proc.returncode}')

https://stackoverflow.com/questions/45600579/asyncio-event-loop-is-closed-when-getting-loop

終了時にEvent loop is closedというエラーが出ることがある？

VODのHLS配信に関するメモ

Mon, 06 Jun 2022 11:33:00 +0900

ffmpeg -i video.mp4 -f hls -hls_time 9 -hls_playlist_type vod -hls_segment_filename "stream%3d.ts" stream.m3u8

ffmpeg -i video.mp4 -c:v libx264 -c:a aac -f hls -hls_time 9 -hls_playlist_type vod -hls_segment_filename "stream%3d.ts" stream.m3u8

default.conf.template

server {
  root /webroot;

  location ~* \.ts$ {
    types {
      video/MP2T ts;
    }
  }

  location ~* \.m3u8$ {
    types {
      application/vnd.apple.mpegurl m3u8;
      # application/x-mpegURL m3u8;
    }
  }
}

niconico: duration: 6s, application/vnd.apple.mpegurl, video/MP2T
（durationはキーフレームとかいろいろで勝手に変わるかも？）

ffmpeg -i video.mp4 \
  -acodec copy \
  -vcodec copy \
  -vbsf h264_mp4toannexb \
  -map 0 \
  -f segment \
  -segment_format mpegts \
  -segment_time 30 \
  -segment_list stream.m3u8 \
  -segment_list_flags \
  -cache stream%03d.ts

codecをコピーすると1ファイルのtsに出力されてしまう場合がある
libx264で再エンコードする

Pythonパッケージ中でパッケージに同梱したファイルを読み込む

Fri, 27 May 2022 13:46:00 +0900

Python 3.7以降の場合、標準モジュールimportlib.resourcesが利用できる。

https://docs.python.org/ja/3/library/importlib.html#module-importlib.resources

以下のようなディレクトリ構造でファイルを同梱する。

setup.py
MANIFEST.in
README.md
LICENSE
mymodule
- __init__.py
- mymodule.py
- mydirectory
  - __init__.py
  - myfile1.txt
  - myfile2.bin

注意点

読み込むファイルのあるディレクトリに__init__.pyを作成する
MANIFEST.inでファイルがパッケージに同梱されるように記述する

include README.md
include LICENSE
recursive-include mymodule/mydirectory *

import importlib.resources as ILR

# テキストファイル
ILR.read_text('mymodule.mydirectory', 'myfile1.txt', encoding='utf-8') # -> str

# バイナリファイル
ILR.read_binary('mymodule.mydirectory', 'myfile2.bin') # -> bytes

JSONファイルに記録したLocal Naiveな時刻をUTC Awareに一括変換するPythonスクリプトのスニペット

Sun, 22 May 2022 16:08:00 +0900

https://gist.github.com/aoirint/c231ab43436ce6c3aafe2097dbb77f0e

クローラの時刻情報を一度Local Naiveで保存してしまったのでUTC Awareに変換するために作成した
（まあ変換処理事故って何度もデータ飛ばしてしまったんだけど）

https://twitter.com/aoirint/status/1524287849759408129

気象庁HP API

Sun, 22 May 2022 14:01:00 +0900

https://www.jma.go.jp/bosai/forecast/

エリア一覧
祝日一覧？
- https://www.jma.go.jp/bosai/forecast/const/anniversary.json
週間用エリアID一覧？
- https://www.jma.go.jp/bosai/forecast/const/week_area.json
枝番エリア一覧？
- https://www.jma.go.jp/bosai/forecast/const/week_area05.json
- https://www.jma.go.jp/bosai/forecast/const/week_area_name.json
天気予報
- 日間概況
  - https://www.jma.go.jp/bosai/forecast/data/overview_forecast/{ID}.json
    - 東京地方ID: 130000
- 週間概況
  - https://www.jma.go.jp/bosai/forecast/data/overview_week/{ID}.json
- 天気予報（3日先まで、7日先まで）
  - https://www.jma.go.jp/bosai/forecast/data/forecast/{ID}.json
- 日間警報
  - https://www.jma.go.jp/bosai/warning/data/warning/{ID}.json

定数を調べる: console.log(JSON.stringify(Forecast))

Pythonラッパー

Akashic Engine

Sat, 21 May 2022 05:28:00 +0900

$ node -v
v14.18.3

https://www.npmjs.com/package/@akashic/akashic-cli

npm install -g @akashic/akashic-cli@2.15

https://akashic-games.github.io/guide/akashic-cli.html#init

akashic init --type typescript

width: 1280
height: 720
fps: 30

git init
git commit -m "Initial Commit" --allow-empty
git add .
git commit -m "first"

npm install

npm start

open http://localhost:3000/game/

GitHub Actions Tips

Sat, 21 May 2022 04:11:00 +0900

mainブランチにpushされたときに実行

on:
  push:
    branches:
      - main

Releaseが作成されたときに実行

on:
  release:
    types:
      - created

三項演算子的なやつ

${{ env.VARIABLE }}の形式
- ${{ condition && 'true_value' || 'false_value' }}
- ${{ github.event.release.tag_name != '' && github.event.release.tag_name || 'latest' }}
- 注意: true_valueがboolean的にfalseと解釈される値（空文字列）であってはならない。その場合、true_valueとfalse_valueを交換してconditionを反転させる。
- 文字列が空文字列の場合は空文字列、そうでなければ加工した文字列を変数に格納する、という方法で文字列を少しずつ加工していくと複雑な文字列が作りやすい

文字列の結合

フォーマット関数を使う
- :区切りで結合: ${{ format('{0}:{1}', env.VARIABLE_A, env.VARIABLE_B) }}

便利なAction

大抵の場合、READMEに用例が載っているのでコピペして使う
- 新しい機能、細かい機能、細かい挙動は載っていなかったりする。そのときはコードを読む
Dockerイメージのビルド・プッシュ: https://github.com/docker/build-push-action
- Docker Hubにpushする場合、アカウントを作成し、アクセストークンを取得しておく（無料プランでは1つしか作成できないので注意）
  - https://hub.docker.com/settings/security
- GitHub Pagesの公開: https://github.com/peaceiris/actions-gh-pages
  - 同一リポジトリにpushする場合、トークンなどを特別に設定する必要はない（何もしなくても、自動でgithub_tokenという変数にトークンが格納されている）
  - 別リポジトリにpushする場合、Personal Access Tokenはリポジトリのスコープを切れないので、SSH鍵を生成してDeploy keysに登録するのがおすすめ

VOICEVOXへのプルリクエストを出した

Wed, 17 Nov 2021 04:00:00 +0900

15日にVOICEVOXへのプルリクエストを出した。

https://github.com/Hiroshiba/voicevox_core/pull/41

ONNX版がリリースされてからになるが、 Raspberry Pi環境で製品版VOICEVOX COREが動くようになるといい。

ONNX版への移行はいつ頃になるだろうか。現状で動作に問題はないので、優先度はあまり高くない感じだと思う。

追加キャラクター3人を予定していて、いまはHPの改修に力を入れているようなので、それらが終わったら手を付けられるだろうか（つむぎちゃんかわいい）。

VOICEVOXフロントエンドを動かすことは自分は考えていない。なんか大変そう（Electronをarmhf向けにビルドするのが）なわりに、合成に時間がかかって使いにくいと思う。コアがRasPiで動くのがおまけなら、おまけのおまけくらい。動画編集するならamd64＋NVIDIA GPUのこなれた環境でいいんじゃないかな。コアさえ提供されていれば、動かすことは不可能ではないし、ほしければ/いい活用のアイデアがあればPRしてほしい。

ENGINEはHTTP APIがついて便利なので、あった方がいいと思う（Dockerで使いやすくなるし）。二度手間になるので、暗号化周りが裏で実装されて、製品版ONNXコアのリリースが出てからENGINE進めるでいいかなと思っている。まあそのうち使えるようになっていたらうれしい。

それまでは、Hacobuneとかを使うといいと思う（β版で無料）。ライト版か外部デバイス版で推論高速化が実現しない限り、RasPi上での音声合成にはそれなりに時間がかかるので、Raspberry Pi版が出たとしても、外部のHTTP APIを使うのは有力な選択肢だと思う。

editorコマンドで起動するエディタを変更する（Ubuntu）

Sat, 13 Nov 2021 19:45:00 +0900

https://unix.stackexchange.com/a/204896

sudo update-alternatives --config editor

docker-composeでBuildKitを使う

Mon, 08 Nov 2021 07:30:00 +0900

ビルドコマンド

https://stackoverflow.com/questions/58592259/how-do-you-enable-buildkit-with-docker-compose

DOCKER_BUILDKIT=1 COMPOSE_DOCKER_CLI_BUILD=1 docker-compose build

Dockerfile

https://www.docker.com/blog/introduction-to-heredocs-in-dockerfiles/

# syntax=docker/dockerfile:1.3-labs

GitLab CI, GitLab PagesにビルドしたHTMLを公開する

Sat, 06 Nov 2021 17:00:00 +0900

https://docs.gitlab.com/ee/user/project/pages/

リポジトリのGitLab Pages機能を有効化したあと、 GitLab CI上でpagesというジョブにpublicというパスのArtifactがあるとき、自動的にpages:deployというジョブが実行され、GitLab Pagesへのデプロイが行われる。

リポジトリがプライベートリポジトリのとき、デプロイされたGitLab Pagesは、GitLabアカウントで認証が行われる。

.gitlab-ci.yml

https://docs.gitlab.com/ee/user/project/pages/getting_started/pages_from_scratch.html#specify-a-stage-to-deploy

image: ruby:2.7

workflow:
  rules:
    - if: '$CI_COMMIT_BRANCH'

pages:
  stage: deploy
  script:
    - gem install bundler
    - bundle install
    - bundle exec jekyll build -d public
  artifacts:
    paths:
      - public
  rules:
    - if: '$CI_COMMIT_BRANCH == "main"'

VOICEVOX Core 0.5.1をUbuntu + GPU + Pythonで使う（exampleを動かすまで）

Sat, 11 Sep 2021 23:40:00 +0900

※ VOICEVOX Coreにより生成した音声の利用にあたっては、VOICEVOX Coreの添付文書・利用規約を必ず確認し、従ってください。

https://github.com/Hiroshiba/voicevox_core

Ubuntu 20.04.3 LTS (Focal Fossa)

Python 3.9.6 (pyenv)

NVIDIA-SMI 470.57.02
Driver Version: 470.57.02
CUDA Version: 11.4

cuDNN 8.2.4

VOICEVOXを使った音声合成について

VOICEVOXの音声合成の仕組みについては、以下の記事が参考になるかもしれません。

VOICEVOXの音声合成エンジンの紹介 | Hiho’s Blog

VOICEVOX Coreを効果的に使うには、ある程度音声合成の専門知識が必要になると思います。

簡易にTTSを利用したい場合には、VOICEVOX EngineのHTTP APIを使うことをおすすめします。

voicevox_engine API Document

VOICEVOX Engineは、公式Dockerイメージが公開されています。

VOICEVOX Coreのインタフェースについて

Details

わたしは音声合成については素人ですが、参考のため現在の理解を書いておきます。

VOICEVOX Coreでは、「音素ごとの長さの推定 replace_phoneme_length / yukarin_s_forward」、「モーラごとの音高の推定 replace_mora_pitch / yukarin_sa_forward」、「音声波形の推定 synthesis / decode_forward」の3つの深層学習モデルを使って音声合成します。

OpenJTalkには、辞書に基づいてテキストを解析し、アクセント句・モーラ・アクセント位置・疑問文フラグなどの情報で構成されたフルコンテキストラベルというデータに変換する機能があります。

フルコンテキストラベルの仕様は、以下のURLを開き、 HTS-2.3 > Speaker dependent training demo > Japanese > tar.bz2からHTS-demo_NIT-ATR503-M001.tar.bz2をダウンロード・展開し、 data/lab_format.pdfを見ると英語で記述されています。

ファイル変更時にコマンド実行（watchmedo, watchexec）

Sun, 22 Aug 2021 06:30:00 +0900

watchmedo (watchdog)

watchmedo shell-command -R --command 'make build' ./src

# プロセスが動いていても停止して再実行する
watchmedo auto-restart -R -d ./src -- make serve

watchmedo インストール

pip3 install watchdog[watchmedo]==2.1.3

※ 2.1.4 on Ubuntuはバグがありそう

Exception in thread Thread-1:
Traceback (most recent call last):
  File "$HOME/.pyenv/versions/3.9.6/lib/python3.9/threading.py", line 973, in _bootstrap_inner
    self.run()
  File "$HOME/.pyenv/versions/3.9.6/lib/python3.9/site-packages/watchdog/observers/api.py", line 199, in run
    self.dispatch_events(self.event_queue, self.timeout)
  File "$HOME/.pyenv/versions/3.9.6/lib/python3.9/site-packages/watchdog/observers/api.py", line 372, in dispatch_events
    handler.dispatch(event)
  File "$HOME/.pyenv/versions/3.9.6/lib/python3.9/site-packages/watchdog/events.py", line 282, in dispatch
    self.event_dispatch_map[event.event_type](event)
AttributeError: 'RootHandler' object has no attribute 'event_dispatch_map'

watchexec

watchexec -w ./src -- make build

# プロセスが動いていても停止して再実行する
watchexec -r -w ./src -- make serve

# 初回実行しない
watchexec -p -w ./src -- make event-trigger

watchexec インストール

Rustのインストール

https://www.rust-lang.org/ja/learn/get-started

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

watchexecのインストール

cargo install watchexec-cli

GitHub Actions, DockerイメージをビルドしてDocker Hubにpushする（アクセストークン）

Sat, 10 Jul 2021 10:10:00 +0900

Docker Hubにアクセストークンを追加する。

https://hub.docker.com/settings/security

リポジトリのSettingsから、Secretsを開き、New repository secretから DOCKER_USERNAME、DOCKER_PASSWORDを追加する。

DOCKER_USERNAMEはDocker Hub上のユーザ名、 DOCKER_PASSWORDはアクセストークンを設定する。

以下のファイルをリポジトリに追加する（ファイル名docker.ymlは変更可）。

mainブランチにgit pushされたとき、Dockerイメージのビルドが走り、イメージがDocker Hubにdocker pushされる。

.github/workflows/docker.yml

name: Push to Docker registry

on:
  push:
    branches:
      - main

jobs:
  push:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v2

      - name: Login to Docker Hub
        uses: actions-hub/docker/login@master
        env:
          DOCKER_USERNAME: ${{ secrets.DOCKER_USERNAME }}
          DOCKER_PASSWORD: ${{ secrets.DOCKER_PASSWORD }}
          DOCKER_REGISTRY_URL: docker.io

      - name: Build :latest
        if: success()
        run: docker build -t username/imagename:latest .

      - name: Deploy :latest
        if: success()
        uses: actions-hub/docker@master
        with:
          args: push username/imagename:latest

Makefile Tips

Thu, 01 Jul 2021 13:00:00 +0900

Makefileのあるディレクトリの絶対パスを取得する

$(pwd)や相対パスでは、makeコマンドの実行ディレクトリが基準になってしまう。Makefileの実体があるディレクトリを基準としたいときは、以下のようにROOT_DIRを定義する。

ROOT_DIR = $(dir $(realpath $(firstword $(MAKEFILE_LIST))))

エラー時に処理を続行する

コマンドの前に-（ハイフン）をつける。

.PHONY: cmd
cmd:
 ls
 -fail_command a b c
 ls

インデントはスペースではなくタブを使う

vimrcでset expandtabしている場合にひっかかる。

以下で一時的に解除するか、vimrcでset expandtabするのをやめる、もしくはvimrcでファイル名による分岐で設定する。

:set noexpandtab

.vimrc

set expandtab

let _filename = expand('%:r')
if _filename == 'Makefile'
  set noexpandtab
endif

vimでMakefileだけTabスペースではなくTabとして入力する - Qiita

ファイルの存在に関係なくターゲットを実行する

Makeは本来Cのコンパイルなどに使うとき、ターゲット名に一致するファイルが存在している場合に処理をスキップするようになっている。

一方で、buildというターゲット名を使って、呼び出しのたびにコマンドを実行したいが、buildディレクトリが存在するような場合に困る。

スキップさせないようにするには、.PHONY: ターゲット名を記述する。

.PHONY: cmd
cmd:
 ls

複数のコマンドを1つのシェルで実行する

cmd:
 echo Hello;\
 VAR=World;\
 echo $$VAR

.ONESHELL: cmd
cmd:
 echo "Hello"
 VAR=World
 echo $$VAR

途中のコマンドの終了ステータスを返す

https://stackoverflow.com/a/44324918

.ONESHELL: cmd
.PHONY: cmd
cmd:
 sh -c 'exit 123'
 EXIT_CODE=$$?
 echo "Exit code: $$EXIT_CODE"
 exit $$EXIT_CODE

npm startでError: ENOENT: no such file or directory ... .steampathで起動しないときの対処（React）

Sat, 05 Jun 2021 01:30:00 +0900

gitでブランチを切り替えて依存関係に差分が生じたとき、 node_modulesを修正していないときに起きる。

Error: ENOENT: no such file or directory, stat '/home/USER/.steampath'

package-lock.jsonがあれば、 package-lock.jsonに基づいて依存関係をインストールするnpm ciを実行する。

実行時にnode_modulesディレクトリの中身は削除され、再構築される。

npm ci

package-lock.jsonがないときは、手動でnode_modulesを削除するのがよいかもしれない。

rm -rf node_modules/
npm install

ほかに、プログラムに構文エラーがあるときに起きることがある。この場合、tscでエラー箇所を調べて直す。

npm startで構文エラーが消えないときの対処（React）

Sat, 05 Jun 2021 01:30:00 +0900

npm startで構文エラーが消えなくなることがある。

npm startでサーバを起動してコードの変更を監視したままの状態で、gitでブランチを切り替えたときキャッシュが正しく更新されないことが原因と思われる。

キャッシュを破棄するには、

npm start -- --reset-cache

依存関係が変わっているとエラーの原因になるので、モジュールもインストールし直すのがよい。

npm ci

https://qiita.com/kt3k/items/758c4f3595ffd7e74f9f

GitLab CI, DockerイメージをビルドしてContainer Registryにpushする

Sat, 29 May 2021 02:00:00 +0900

2023-05-18 追記：この記事には、改訂版（2023年版）があります。

リポジトリ構造

.gitlab-ci.yml
app/
- Dockerfile

.gitlab-ci.yml

stages:
  - build

build:
  stage: build
  image: docker:20.10
  services:
    - docker:dind
  rules:
    - if: $CI_COMMIT_BRANCH == "main"
  script:
    - docker login -u $CI_REGISTRY_USER -p $CI_REGISTRY_PASSWORD $CI_REGISTRY
    - docker build ./app -t $CI_REGISTRY_IMAGE:latest
    - docker push $CI_REGISTRY_IMAGE:latest

Atom Text Editor Setup

Fri, 14 May 2021 01:00:00 +0900

GitHubが開発するElectron製高機能テキストエディタAtomをセットアップする。

Installation

macOS, Windows

https://atom.io/

Ubuntu

https://flight-manual.atom.io/getting-started/sections/installing-atom/#platform-linux

wget -qO - https://packagecloud.io/AtomEditor/atom/gpgkey | sudo apt-key add -
sudo sh -c 'echo "deb [arch=amd64] https://packagecloud.io/AtomEditor/atom/any/ any main" > /etc/apt/sources.list.d/atom.list'
sudo apt update

sudo apt install atom

Key Binding Resolver (Ctrl + .)

キーバインドが重複してどれが動いているかわからないときに便利。

Packages

パッケージにより機能拡張ができる。

https://atom.io/packages/

GUIによる操作

Install: Edit > Preferences > Install
Config: Edit > Preferences > Packages

CLIによる一括インストール

# Export Package List
apm list -b -e -i --no-v > atom_packages.txt

# Import Package List and Install
apm install --packages-file atom_packages.txt

おすすめパッケージリスト

PsychopyでOpenCV画像をImageStimで表示する

Sun, 14 Feb 2021 22:00:00 +0900

Psychopy - GitHub

y軸反転と画素値をfloat（0-1）に変換すればOK。

npimg: np.ndarray # (height, width, num_channels)
stimimg = np.flip(npimg.astype(np.float32) / 255, axis=0)

ウインドウに表示させるサンプル

import numpy as np # numpy>=1.20.1
import cv2 # type: ignore # opencv-python>=4.5.1.48
from psychopy import core # type: ignore # psychopy>=2020.2.10
from psychopy.visual import Window, ImageStim # type: ignore
import sys

# npimg: np.ndarray = cv2.imread('image.png', 1)
npimg: np.ndarray = np.zeros((400, 400, 3), dtype=np.uint8)
npimg = cv2.line(npimg, (0, 50), (400, 50), (127, 127, 127), 3)
npimg = cv2.line(npimg, (50, 0), (50, 400), (255, 255, 255), 3)
# cv2.imwrite('image.png', npimg)

stimimg = np.flip(npimg.astype(np.float32) / 255, axis=0)

window = Window((400, 400), color='black', units='pix')

stim = ImageStim(window, pos=(0, 0), size=(400, 400))
stim.image = stimimg

stim.draw()
window.flip()

core.wait(3)

# while True:
#     stim.draw()
#     window.flip()
#
#     for keys in event.getKeys(timeStamped=True):
#         if keys[0] in [ 'escape', 'q' ]:
#             sys.exit(0)
#
#     core.wait(0.01)

Sphinx

Tue, 05 Jan 2021 07:40:00 +0900

Python製のドキュメント生成ツール。

Python 3.8.5
Sphinx 3.4.2
- Sphinx · PyPI

pip3 install Sphinx

reST（reStructuredText）

SphinxではデフォルトでreStructuredTextというマークアップ言語を使う。

既存Pythonプロジェクトにドキュメントを追加する

setup.py などが存在するPyPIパッケージプロジェクトを想定する。

プロジェクトのルートに docs ディレクトリを作成し、インタラクティブツール sphinx-quickstart を実行する。

mkdir docs
cd docs/
sphinx-quickstart

Separate source and build directories (y/n) と聞かれるので、 y 。プロジェクト名、著者名、言語などを答える。

source ディレクトリ、 build ディレクトリ、 Makefile が生成される。

make html

以上のコマンドで build/html ディレクトリにHTMLが生成される。

python3 -m http.server -b localhost -d build/html

などで確認する。

次はPythonモジュールのdocstringからドキュメントを自動生成する。

#!/bin/bash

SCRIPT_DIR=$(cd $(dirname $0); pwd)

cd "${SCRIPT_DIR}"
sphinx-apidoc -f -o "./source/api" "../mymodule"

make html

docs/mkdocs.sh を以上のように作成し、実行する（TODO：Makefileへの入れ込み）。ここでは、以下のように docs ディレクトリと並んで、パッケージとして提供するPythonモジュール mymodule のディレクトリがあることを想定している。なお、 docs/source/conf.py は設定ファイルであり、例えば html_theme = 'sphinx_rtd_theme' のような設定を追加し、 pip3 install sphinx-rtd-theme してから make html することで、Read the Docsスタイルのドキュメントを生成できる。

Docker Desktop for Mac上のX ClientをホストのXQuartz（X Window Server）で表示する

Sun, 20 Dec 2020 00:30:00 +0900

$ docker -v
Docker version 20.10.0, build 7287ab3

$ brew -v
Homebrew 2.6.2
Homebrew/homebrew-core (git revision ce927; last commit 2020-12-19)
Homebrew/homebrew-cask (git revision eb977; last commit 2020-12-19)

$ brew info xquartz
xquartz: 2.7.11 (auto_updates)
https://www.xquartz.org/
/usr/local/Caskroom/xquartz/2.7.11 (74.6MB)
From: https://github.com/Homebrew/homebrew-cask/blob/HEAD/Casks/xquartz.rb
==> Name
XQuartz
==> Description
Open-source version of the X.Org X Window System

Docker Desktop for Mac 3.0.2 (50996)
macOS Catalina Version 10.15.7

XQuartzのインストール（HomebrewとHomebrew Cask）

現在はbrew caskコマンドは非推奨で、brewだけでOK（あるいは--caskオプションをつける）。 XQuartzの場合は--caskをつけなくても内部で勝手にbrew caskとしてインストールしてくれた。 Homebrew CaskというのはGUIアプリケーション向けのHomebrewの拡張らしいが、Homebrewと何が違うのかわからん。

Warning: Calling brew cask install is deprecated! Use brew install [--cask] instead.

Homebrewは、開発元からソースコードが配布されていて、そのコンパイル済みのバイナリ（またはソースダウンロード＋自動ローカルビルド）を提供するもので、 Homebrew Caskは、*.dmgが配布されていてマウントして*.appを/Applicationsにコピーする操作（実際には/usr/local/Caskroomにインストールする）のを自動化する、というものなのだろうか? --caskを明示するのは両方に登録されていてもCaskを優先するみたいな指定なのか? XQuartzの場合は--caskを付けなくてもCaskとしてインストールされた。

GitHubのPAT（Personal Access Token）認証手順（Ubuntu）

Fri, 18 Dec 2020 11:00:00 +0900

GitHubがパスワードによるGitアクセスを無効化する（正確にはパーソナルアクセストークン認証を必須化する、だが現状SSH認証は残る）旨のアナウンスをした（Token authentication requirements for Git operations - The GitHub Blog）。

これまで、コマンドラインGit操作のためのGitHubの認証にはパスワード認証（HTTPS Basic認証）を使っていた。一応、リポジトリを操作するたびにパスワードを入力するのは面倒なので、 cacheは有効化していた。（git config --global credential.helper cache）。

パスワード認証は、持ち出せないPCやVPS、モバイル端末や新しいPCから一時的にリポジトリにアクセスする必要があるときに便利だった。もちろん、キーロガーやgitコマンドなどシステムがハックされている可能性を考えると望ましくないことはわかっていたが..。以前はSSH認証を使っていた時期もあったが、ブラウザ上での鍵の登録削除操作が必要でこういった一時的な認証には向かない（この記事ではこの問題は解決しない。都度PATを用意するか、平文保存するか、あるいは手元で認証情報を持つ必要のない自動デプロイを採用することになるかもしれない）。また、同じGitホスティングサービスに複数アカウントを作っているとき、デバイス数×アカウント数と大量に鍵を管理する必要が出てくる（この記事ではこの問題も解決しない）。

自分の認識として、GitHubのGit操作をする認証にはパスワード認証（HTTPS Basic認証）、SSH認証、パーソナルアクセストークンがある（GitHub ActionsのトークンやOAuthなどは除く）。

SSH認証を使っていなかった理由は先に述べた問題（一時的なアクセス・大量の鍵管理）のほかに、プロキシがある。自分の環境では、ネットワーク/場所が変わるたびにプロキシ設定を切り替える必要があり、 HTTPS認証の場合、毎回git config --global http.proxyあるいはgit config --global --unset http.proxyを打つことになっている（あるいはシェルスクリプト。globalなのはリポジトリ別に設定を残さないためとcloneができないから）。ここでSSHを使うとHTTPプロキシ経由で通信するためのProxyCommandを設定することになるが、これがやっかいである。まず、OSごとにプロキシコマンドが異なる。connect -H（Windows）、ncat --proxy-type http --proxy（macOS）、nc -X connect -x（Linux）とそれぞれのOS用の設定を用意することになる。また、プロキシのON/OFF自体については、ふつうにsshでつなぐときは、ワイルドカード設定を使って接続先名でプロキシを切り替えるようにしているのだが、 Gitの場合は接続先名を変えるためにgit remote set-urlする必要があり、これにはリポジトリのパスを記憶して頻繁に入力する必要が出てきてしまう。今のところそのような認識であるので、パーソナルアクセストークンを使った認証に切り替えていく。

パーソナルアクセストークン（PAT）は、パスワードの代わりに利用可能な認証情報で、権限を絞ったトークンを生成できる。GitHub Package Registryを利用するときに使っていて（docker login docker.pkg.github.com。パスワード認証不可。現在GitHubのDockerレジストリはpull認証不要のGitHub Container Registry ghcr.io に置き換えられる予定でパブリックベータ中）、好印象を持っていた（PyPIやDocker Hubでもトークン認証が便利）。また、GitHubはSSH認証よりもHTTPS認証を推奨している。PATの設定箇所は若干わかりにくいが、Settings > Developer settings > Personal access tokensから設定できる。

主要機の切り替えにあたって、トークンを毎回入力するわけにはいかないので、入力されたパスワード（トークン）を認証情報マネージャを使って永続化する設定をする。Windows（Git for Windows）、macOSでは自動で設定されるように思うが、Ubuntuでは手動設定することになる。

libgnome-keyringのgit-credential-gnome-keyringというのがあるが、libgnome-keyringが非推奨になっている（linux - Error when using Git credential helper with gnome-keyring as Sudo - Stack Overflow、[libgnome-keyring] Deprecate libgnome-keyring. Use libsecret instead）ようなのでlibsecretを使う（裏側では同じgnome-keyringが動いているようだが）。どちらもほぼ手順は同じだが、開発用パッケージからソースコードを取得したあと、手動でmakeするという謎手順がある（#パッケージマネージャとは）。これで一応保存時の暗号化（復元可能）は施された状態で永続化できる。

Pythonを追加するDockerfile

Tue, 08 Dec 2020 22:30:00 +0900

pyenvは部品を使うだけで最終的には削除します（Pythonは/usr/localに導入）

FROM ubuntu:bionic


ARG DEBIAN_FRONTEND=noninteractive
ARG PYTHON_VERSION=3.9.0
ARG PYTHON_ROOT=/usr/local
ARG PYENV_ROOT=/tmp/.pyenv
ARG PYBUILD_ROOT=/tmp/python-build

RUN apt update && apt install -y \
    build-essential \
    libssl-dev \
    zlib1g-dev \
    libbz2-dev \
    libreadline-dev \
    libsqlite3-dev \
    wget \
    curl \
    llvm \
    libncurses5-dev \
    libncursesw5-dev \
    xz-utils \
    tk-dev \
    libffi-dev \
    liblzma-dev \
    python-openssl \
    git \
  && git clone https://github.com/pyenv/pyenv.git $PYENV_ROOT \
  && PREFIX=$PYBUILD_ROOT $PYENV_ROOT/plugins/python-build/install.sh \
  && $PYBUILD_ROOT/bin/python-build -v $PYTHON_VERSION $PYTHON_ROOT \
  && rm -rf $PYBUILD_ROOT $PYENV_ROOT

ソース公開するArduinoプログラムに秘密情報を埋め込む

Mon, 09 Nov 2020 08:10:00 +0900

aoirint/RoomSystemSensorESP32: ESP32とFirebaseを使った部屋センシング・オンライン化クライアントの開発中に Arduinoプログラム（.ino）にWiFiパスワード・APIキーなどの秘密情報を埋め込む必要が出てきた。

ここでは、Arduino IDEの主要機能を持つCLIソフトウェアarduino-cliを使う。

arduino/arduino-cli: Arduino command line interface

arduino-cliの使い方については、別記事参照。

arduino-cliの使い方 - えやみぐさ

秘密情報の埋め込み

秘密情報の埋め込みには、以下のようなシェルスクリプトcompile.shを作成するのが楽でよい。 DEFINES=の部分の-Dから=までの文字列が定数名、=の右辺が定数値として定義された状態でソースコードがコンパイルされる。ここでは同ディレクトリの.envファイルを読み込んで使用する。 .envファイルのフォーマットはよくあるものと同じで、改行で区切られ、#から始まる行を無視するKEY=VALUE形式のテキストファイル。

ボードへの書き込みには以下のupload.shのようなスクリプトを使うとよい。

screenコマンドをラップするスクリプトserialmon.shもおいておく。

compile.sh

#!/bin/bash

set -eu

if [ -f .env ]; then
    echo "Found .env file."
    export $(cat .env | sed 's/#.*//g' | xargs)
fi


# ESP32-DevKitC
FQBN="esp32:esp32:esp32"

# Arduino UNO
# FQBN="arduino:avr:uno"


DEFINES="-DSECRET_WIFI_SSID=$WIFI_SSID"
DEFINES="${DEFINES} -DSECRET_WIFI_PW=$WIFI_PW"
DEFINES="${DEFINES} -DSECRET_FIREBASE_HOST=$FIREBASE_HOST"
DEFINES="${DEFINES} -DSECRET_FIREBASE_AUTH=$FIREBASE_AUTH"


SKETCH="$(basename $PWD).ino"

arduino-cli compile \
    -b "$FQBN" \
    --build-properties \
        "build.defines=${DEFINES}" \
    "$SKETCH" "$@"

プログラム側では以下のようにする。#xはコメントではないので注意（文字列リテラルとして展開するマクロ）。

arduino-cliの使い方

Mon, 09 Nov 2020 08:00:00 +0900

$ arduino-cli version
arduino-cli Version: 0.13.0 Commit: 693a045

インストール

Arduino CLIの公式ドキュメントに従ってインストールする。後述するscreenコマンドも合わせてインストールする。 arduino-cliはDockerイメージも配布されているのでお好みで。

curl -fsSL https://raw.githubusercontent.com/arduino/arduino-cli/master/install.sh | BINDIR=~/.local/bin sh
echo "export PATH=\"\$PATH:\$HOME/.local/bin\"" >> ~/.bashrc
source ~/.bashrc

sudo apt install screen

プラットフォーム一覧を更新しておく。

arduino-cli core update-index

シリアルポートを使うため、dialoutグループにユーザを追加する（/dev/ttyACM#や/dev/ttyUSB#のグループはdialout）。

sudo adduser $USER dialout

スケッチの作成

特に特殊なファイルを必要としたりはしないので、 Arduino IDEで作成しても、好きなテキストエディタで作成してもよい。

一応テンプレート付きのスケッチを作成するには、arduino-cli sketch new SKETCH_NAMEを実行する。

手動で作成する場合にはArduino IDEと同様、スケッチ名（ディレクトリ名）と同じ名前で、SKETCH_NAME.inoのようにメインのソースコードを作成する。

以下、arduino-cliのコマンドはスケッチのディレクトリで実行する。

FQBNの確認

arduino-cliでボードを扱うときには、ボード名にあたるFQBNというコロンで区切られた文字列を使う。

arduino-cli board listallコマンドで arduino-cliが対応しているボードのFQBN一覧が出力される。 arduino-cli board listall esp32のようにキーワードを追加して、絞り込むこともできる。

また、arduino-cli board listコマンドでPCに接続しているボードのFQBNを調べられる場合がある（Arduino系ボードの場合？）。

ロータリエンコーダ付きステッピングモータをArduinoで制御して角度を取得する

Tue, 06 Oct 2020 07:00:00 +0900

機材

Arduino UNO（中華）
ロータリエンコーダ付きステッピングモータ
- PKP214U06A-R2EL
- PKP214U06A-R2EL-L｜PKPシリーズ／PKシリーズ｜ステッピングモーター｜オリエンタルモーター株式会社
  - モータ部説明書（PDF、HM-7433J.pdf）
  - ロータリエンコーダ部説明書（PDF、HM-7439JE.pdf）
  - 特性図（画像）（DC24V駆動時）
  - モータ部
    - 2相
    - ユニポーラ5本リード線
    - 基本ステップ角度1.8°
    - AC 50/60Hz 0.5kV 絶縁耐圧（1分間）
  - ロータリエンコーダ部
    - 分解能 200 パルス/回転（pulse/revolution）
    - A相、B相、Z相：3チャンネル出力
    - DC5V駆動
モータドライバ
- SLA7078MPRT
- SLA7078MPRT ｜サンケン電気
- ２相ステッピングモータードライバー　ユニポーラ駆動用　ＳＬＡ７０７８ＭＰＲＴ: 半導体秋月電子通商-電子部品・ネット通販
- データシート（PDF、sla7073mprt_ds_jp.pdf）
- μステップ対応品
- 実使用電圧 10-44V
モータドライバ基板
- SEC20120330A
- エレ・メカ・ホビーショップＳＥＣ資料置き場
  - 新型２相ステップドライバ資料（PDF、step-2p-v1.pdf）

ステッピングモータの制御

ステッピングモータ配線

ステッピングモータ本体からは、左から黒・緑・橙・青・赤の5本のケーブルが出ている。これは説明書を見ると黒・緑がA相（$\rm A$・$\rm \overline{A}$）、青・赤がB相（$\rm B$・$\rm \overline{B}$）、橙が電源になっている。モータドライバ基板の対応する端子にこれらを接続する。

モータ電源として24V DC電源（ATS065-P240）を使用した。

ステッピングモータドライバ設定

μステップ機能（角度をより細かく制御できる）を使い、励磁方式をW1-2相励磁（4分割）にするため、ドライバのM3端子をHIGHにする。今回使ったドライバ基板ではDIPスイッチの4番をONにする。

第3回ドライブICの制御方式「励磁方式」 | 特集 | NPM 日本パルスモーター株式会社

ドライバ基板上の半固定抵抗（Refに接続）を使って、カレントダウン（過熱防止のための電流カット機能）時の電流と通常時の電流をできるだけ絞る（反時計回りで絞れる）。実際に回すときは、求められるトルクと発熱のトレードオフで調節すると思われる。

Ubuntu, pyenv環境でtkinterを使う

Sun, 04 Oct 2020 03:30:00 +0900

sudo apt install tk-dev python-tk python3-tk
pyenv install 3.8.6
pyenv global 3.8.6

python3 -m tkinter

Python Requests

Mon, 28 Sep 2020 11:30:00 +0900

ses = requests.Session()

Headers

ses.headers.update({
})

Copy cookies from Selenium

ses.cookies.clear()
for cookie in driver.get_cookies():
    rc = requests.cookies.create_cookie(domain=cookie['domain'], name=cookie['name'], value=cookie['value'])
    ses.cookies.set_cookie(rc)

Download a file

file_url: str
dest_path: str

with tempfile.NamedTemporaryFile() as fp:
    with ses.get(file_url, stream=True) as r:
        r.raise_for_status()

        for chunk in r.iter_content(chunk_size=8192):
            fp.write(chunk)

    fp.flush()
    shutil.copy(fp.name, dest_path)

docker-composeによるPython + Selenium環境

Mon, 28 Sep 2020 11:00:00 +0900

2022-08-06 追記

Seleniumのバージョンが上がって一部非推奨化したりしたので、そちらに対応した版を作成しました。

リポジトリ: https://github.com/aoirint/compose-selenium-python-template

2020-09-28

docker-compose.yml

version: '3.8'
services:
  app:
    build: ./app/
    entrypoint: [ "wait-for-it", "selenium:4444", "--", "python3", "/code/main.py" ]
    volumes:
      - ./work:/work
    environment:
      SELENIUM_URL: http://selenium:4444/wd/hub
    depends_on:
      - selenium
  selenium:
    image: selenium/standalone-chrome
    volumes:
      - /dev/shm:/dev/shm

app/Dockerfile

FROM python:3

WORKDIR /work

RUN apt update && apt install -y \
  wait-for-it

ADD requirements.txt /tmp/
RUN pip3 install -r /tmp/requirements.txt

ADD code/ /code

app/requirements.txt

requests >= 2.24.0
selenium

app/code/main.py

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

selenium_url = os.environ['SELENIUM_URL']
website_url: str = None

driver = webdriver.Remote(
    command_executor=selenium_url,
    desired_capabilities=DesiredCapabilities.CHROME,
)

driver.get(website_url)

GitHub Actions, ビルド結果を別ブランチにpushする

Sun, 27 Sep 2020 16:30:00 +0900

GitHub Actions実行中に生成したbuildディレクトリの内容を別ブランチにpushする。

github:s0/git-publish-subdir-action

name: Build
on:
  push:
    branches:
      - master

jobs:
  deploy:
    name: Build
    runs-on: ubuntu-latest
    steps:
    - uses: actions/checkout@v2

    - name: Setup Python
      uses: actions/setup-python@v2
      with:
        # Version range or exact version of a Python version to use, using SemVer's version range syntax.
        python-version: 3.x

    - name: Install dependencies
      run: pip3 install -r requirements.txt

    - name: Build
      run: python3 app/main.py
      # run: |
      #   python3 app/cmd1.py
      #   python3 app/cmd2.py

    # https://github.com/s0/git-publish-subdir-action
    - name: Push to build branch
      uses: s0/git-publish-subdir-action@master
      env:
        REPO: self
        BRANCH: build
        FOLDER: build
        GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}

Atom + LaTeX in Docker

Thu, 17 Sep 2020 08:35:00 +0900

概要

LaTeXをホストにインストールせず、Docker内で動かしつつ、 Atomからこれを利用できるようにする。

Requirements

Ubuntu 18.04
Docker
Atom
Atom Packages
- latex

Atom Packages

latexを入れれば最低限ビルドコマンドは叩けるようになる。

latex
シンタックスハイライト
- language-latex
アウトライン表示
- document-outline
PDFプレビュー
- pdf-view（メモリリーク? Atomを一度閉じれば解消する）
- または pdf-view-plus（メモリリーク対策版らしい。latexとの連携はないので注意）

Dockerイメージ

paperist/alpine-texlive-jaを使う。

sudo docker pull paperist/alpine-texlive-ja

Docker

sudoなしでDockerを実行できるようにする。AtomからDockerコンテナを作るのに必要。

注意として、この方法で一般ユーザがDockerを使えるようにすると特権昇格できてしまうため、共有サーバにおいてはDocker 20.10以降のDocker rootlessを設定する。

https://docs.docker.com/engine/security/rootless/

ユーザをdockerグループに追加したあと再ログインする。新しくdockerグループが作られた直後はnewgrp dockerしなければならないことがあり、シェルごとにこれを実行する必要があるようなのでAtomに反映されず、この場合OSの再起動が必要。

sudo groupadd docker
sudo adduser $USER docker

latexmkスクリプトを作る

/usr/texbin/latexmk（手動でlatexのTeX Pathを設定するか、デフォルトでPATHの通っている場所ならどこでもいい）に以下のシェルスクリプトを作成し、chmod +x /usr/texbin/latexmkしておく。

${HOME}/.atom/packages/latex/resourcesのマウントはlatexのExtended Build Modeが有効のときに${HOME}/.atom/packages/latex/resources/latexmkrcが読み出されるため設定している（このパスはホストのAtomから渡されるのでマウント先パスもホストと同じ）。この機能を無効にしていれば不要。

#!/bin/sh
docker run --rm \
  -v "${PWD}:/workdir" \
  -v "${HOME}/.atom/packages/latex/resources:${HOME}/.atom/packages/latex/resources" \
  paperist/alpine-texlive-ja \
  latexmk "$@"

サンプルTeXファイル

\documentclass[10pt,a4paper]{jsarticle}

\title{My Title}
\author{Author}
\date{2020-09-17}

\begin{document}
\maketitle

\section{サンプル}

\end{document}

注意点

カレントディレクトリ以下をマウントするため、外部においた.styなどは読み込めないので注意（デフォルトでロードされるディレクトリがあれば追加のマウントをすればOKと思われる）。

Vue 入門

Sun, 10 May 2020 22:17:14 +0900

Node.js（npm+Browserifyなど）でパッケージ管理したり、サーバサイドで事前処理（.vueファイル、vue-cli）して配信ファイルを生成したりしてややこしいけれど、基本的にVue（Vue.js）はブラウザ上で動作するBootstrap++みたいなクライアントサイドフレームワークという理解。

参考

はじめに — Vue.js

この「はじめに」をベースにサンプルを並べていく。

何もしないHTML


<!DOCTYPE html>
<meta charset="utf-8">

<script src="https://cdn.jsdelivr.net/npm/vue/dist/vue.js"></script>
<!-- <script src="https://cdn.jsdelivr.net/npm/vue"></script> -->

<h2>Hello Vue!</h2>
<p>
  This is not Vue!

CDNから開発用のVue.jsを持ってくるだけ。これをベースにいじっていく（SRIは略）。

テストするときはpython3 -m http.server --bind 127.0.0.1とか、php -S 127.0.0.1:8000とか、静的コンテンツを開ければなんでもよし。

テンプレート的用法

適当に使ってみる

<!DOCTYPE html>
<meta charset="utf-8">

<script src="https://cdn.jsdelivr.net/npm/vue/dist/vue.js"></script>
<!-- <script src="https://cdn.jsdelivr.net/npm/vue"></script> -->

<h2>Hello Vue!</h2>
<p id="body">
  {{ body_content }}

<script>
(function() {
  var app = new Vue({
    el: '#body',
    data: {
      body_content: 'This is BODY!',
    },
  });
})();
</script>

Django/Jinjaのように{{ variable }}の形式で埋め込み位置を指定。Vueオブジェクトを作って初期値を与える。

Zoom API (OAuth)を試したメモ

Sat, 09 May 2020 07:37:22 +0900

お試しのためのOAuthアクセストークン（一時）を得るサンプルをクローン。

git clone https://github.com/zoom/zoom-oauth-sample-app.git
cd zoom-oauth-sample-app

npm install

https://github.com/zoom/zoom-oauth-sample-app

ngrok（remote.itみたいなやつ）をダウンロード（実行ファイル）。ngrok.ioのサブドメインにポートを転送する。

https://ngrok.com/

./ngrok http 4000

OAuth AppをZoom上に作成。

https://marketplace.zoom.us/develop/create

設定を書く.envファイルを作成。

touch .env

clientID=Zoom OAuth AppのClient ID
clientSecret=Zoom OAuth AppのClient Secret
redirectURL=ngrokのURL

起動。

npm run start

API Document: https://marketplace.zoom.us/docs/api-reference/introduction

上のURLでテスト呼び出しができるので、アクセストークンをとりあえず使いまわして検証。

管理者でない場合は得られる情報が結構限られる（進行中のミーティングの参加者リストは管理者でないととれなさそう）。管理者の場合はOAuthではなくJWTを使ったほうが良さそう。今回の目的は達成できなさそうだったのでこれで終了（トークンとらなくても入出力サンプルはある）。

JWT参考：インタラクション2020のリモート開催で使われたシステム https://github.com/hasevr/i2020zoom

PyTorch pydub.AudioSegmentをtorch.Tensorに変換する

Thu, 26 Mar 2020 11:10:41 +0900

import numpy as np
import torch
import torchaudio
import torchaudio.transforms as T

'''
in: pydub.AudioSegment
out: torch.Tensor (float32)
'''
def to_tensor(audio):
    sample_width = audio.sample_width
    sample_bits = 8 * sample_width
    sample_max_int = 2 ** sample_bits
    sample_channels = audio.channels

    samples = np.asarray(audio.get_array_of_samples())
    samples = samples.reshape((-1, 2)).transpose((1, 0)) # LRLR -> Channel, Samples

    samples = samples.astype('f') / sample_max_int

    samples = torch.from_numpy(samples).type(torch.float32)

    return samples

OpenGL 2.1/4.1（GLFW）でOpenCVの画像を表示する（Python, Mac）

Mon, 23 Mar 2020 01:11:57 +0900

pip3 install PyOpenGL glfw

モジュールバージョン

PyOpenGL==3.1.5
glfw==1.11.0

システムのOpenGLバージョン

Vendor : b'Intel Inc.'
GPU : b'Intel Iris OpenGL Engine'
OpenGL version : b'4.1 INTEL-14.4.23'

OpenGL 2.1

Vendor : b'Intel Inc.'
GPU : b'Intel Iris OpenGL Engine'
OpenGL version : b'2.1 INTEL-14.4.23'

glDrawPixels

import cv2
from OpenGL.GL import *
import glfw

if __name__ == '__main__':
    img = cv2.imread('lena.png', 1)
    img_gl = cv2.cvtColor(cv2.flip(img, 0), cv2.COLOR_BGR2RGB)

    glfw.init()

    # These parameters need to be changed according to your environment.
    # Mac: https://support.apple.com/ja-jp/HT202823
    # glfw.window_hint(glfw.CONTEXT_VERSION_MAJOR, 4)
    # glfw.window_hint(glfw.CONTEXT_VERSION_MINOR, 1)
    # glfw.window_hint(glfw.OPENGL_FORWARD_COMPAT, True)
    # glfw.window_hint(glfw.OPENGL_PROFILE, glfw.OPENGL_CORE_PROFILE)

    width = img.shape[1]
    height = img.shape[0]
    window = glfw.create_window(width, height, 'Lena', None, None)
    glfw.make_context_current(window)

    print('Vendor :', glGetString(GL_VENDOR))
    print('GPU :', glGetString(GL_RENDERER))
    print('OpenGL version :', glGetString(GL_VERSION))

    while not glfw.window_should_close(window):
        glClearColor(0, 0, 0, 1)
        glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT)

        glDrawPixels(width, height, GL_RGB, GL_UNSIGNED_BYTE, img_gl)

        glfw.swap_buffers(window)
        glfw.poll_events()

    glfw.destroy_window(window)
    glfw.terminate()

Texture

import cv2
from OpenGL.GL import *
import glfw

if __name__ == '__main__':
    img = cv2.imread('lena.png', 1)
    img_gl = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

    glfw.init()

    # These parameters need to be changed according to your environment.
    # Mac: https://support.apple.com/ja-jp/HT202823
    # glfw.window_hint(glfw.CONTEXT_VERSION_MAJOR, 4)
    # glfw.window_hint(glfw.CONTEXT_VERSION_MINOR, 1)
    # glfw.window_hint(glfw.OPENGL_FORWARD_COMPAT, True)
    # glfw.window_hint(glfw.OPENGL_PROFILE, glfw.OPENGL_CORE_PROFILE)

    window = glfw.create_window(256, 256, 'Lena', None, None)
    glfw.make_context_current(window)

    print('Vendor :', glGetString(GL_VENDOR))
    print('GPU :', glGetString(GL_RENDERER))
    print('OpenGL version :', glGetString(GL_VERSION))

    height, width = img.shape[:2]
    glTexImage2D(GL_TEXTURE_2D, 0, GL_RGB, width, height, 0, GL_RGB, GL_UNSIGNED_BYTE, img_gl)

    while not glfw.window_should_close(window):
        glClearColor(0, 0, 0, 1)
        glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT)

        glEnable(GL_TEXTURE_2D)
        glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR)
        glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR)

        glBegin(GL_QUADS)
        glTexCoord2d(0.0, 1.0)
        glVertex3d(-1.0, -1.0, 0.0)
        glTexCoord2d(1.0, 1.0)
        glVertex3d(1.0, -1.0, 0.0)
        glTexCoord2d(1.0, 0.0)
        glVertex3d(1.0, 1.0, 0.0)
        glTexCoord2d(0.0, 0.0)
        glVertex3d(-1.0, 1.0, 0.0)
        glEnd()

        glfw.swap_buffers(window)
        glfw.poll_events()

    glfw.destroy_window(window)
    glfw.terminate()

OpenGL 4.1 / GLSL

Vendor : b'Intel Inc.'
GPU : b'Intel Iris OpenGL Engine'
OpenGL version : b'4.1 INTEL-14.4.23'

import sys
from OpenGL.GL import *
import glfw
import numpy as np
import cv2


vertex_shader_text = '''
#version 410 core

in vec3 vPosition;
out vec2 vTextureCoord;

void main(void) {
    vTextureCoord = vec2((vPosition.x + 1.0) / 2, (vPosition.y + 1.0) / 2);
    gl_Position = vec4(vPosition, 1.0);
}
'''

fragment_shader_text = '''
#version 410 core

uniform sampler2D vTexture;
in vec2 vTextureCoord;
out vec4 flagColor;

void main(void) {
    flagColor = texture(vTexture, vTextureCoord).rgba;
}
'''

def init_context():
    print('Initializing context..')
    glfw.init()

    glfw.window_hint(glfw.CONTEXT_VERSION_MAJOR, 4)
    glfw.window_hint(glfw.CONTEXT_VERSION_MINOR, 1)
    glfw.window_hint(glfw.OPENGL_FORWARD_COMPAT, True)
    glfw.window_hint(glfw.OPENGL_PROFILE, glfw.OPENGL_CORE_PROFILE)

    global window
    window = glfw.create_window(512, 512, __file__, None, None)
    glfw.make_context_current(window)

    print('Vendor :', glGetString(GL_VENDOR))
    print('GPU :', glGetString(GL_RENDERER))
    print('OpenGL version :', glGetString(GL_VERSION))

def init_texture():
    print('Initializing texture..')

    img = cv2.imread('lena.png', 1)
    img_gl = cv2.cvtColor(cv2.flip(img, 0), cv2.COLOR_BGR2RGB)

    global width, height
    height, width = img.shape[:2]

    global texture
    texture = glGenTextures(1)

    glActiveTexture(GL_TEXTURE0)
    glBindTexture(GL_TEXTURE_2D, texture)

    glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR)
    glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR)

    glPixelStorei(GL_UNPACK_ALIGNMENT, 1)
    glTexImage2D(GL_TEXTURE_2D, 0, GL_RGB, width, height, 0, GL_RGB, GL_UNSIGNED_BYTE, img_gl)

def init_shader():
    print('Initializing shader..')

    global vertex_shader
    vertex_shader = glCreateShader(GL_VERTEX_SHADER)
    glShaderSource(vertex_shader, vertex_shader_text)
    glCompileShader(vertex_shader)
    if not glGetShaderiv(vertex_shader, GL_COMPILE_STATUS):
        print('Vertex shader is not OK')
        print(glGetShaderInfoLog(vertex_shader))
        sys.exit(1)
    else:
        print('Vertex shader is OK')

    global fragment_shader
    fragment_shader = glCreateShader(GL_FRAGMENT_SHADER)
    glShaderSource(fragment_shader, fragment_shader_text)
    glCompileShader(fragment_shader)
    if not glGetShaderiv(fragment_shader, GL_COMPILE_STATUS):
        print('Fragment shader is not OK')
        print(glGetShaderInfoLog(fragment_shader))
        sys.exit(1)
    else:
        print('Fragment shader is OK')

    global program
    program = glCreateProgram()
    glAttachShader(program, vertex_shader)
    glDeleteShader(vertex_shader)
    glAttachShader(program, fragment_shader)
    glDeleteShader(fragment_shader)
    glLinkProgram(program)
    if not glGetProgramiv(program, GL_LINK_STATUS):
        print('Shader program is not OK')
        print(glGetProgramInfoLog(program))
        sys.exit(1)
    else:
        print('Shader program is OK')

def init_vao():
    print('Initializing vao..')

    # anti-clockwise
    vertices = np.array([
        -1.0, -1.0, 0.0, # left bottom
        1.0, -1.0, 0.0, # right bottom
        -1.0, 1.0, 0.0, # left top

        -1.0, 1.0, 0.0, # left top
        1.0, -1.0, 0.0, # right bottom
        1.0, 1.0, 0.0, # right top
    ], dtype=np.float32)

    global vertex_vbo
    vertex_vbo = glGenBuffers(1)

    global vertex_vao
    vertex_vao = glGenVertexArrays(1)
    glBindVertexArray(vertex_vao)

    glEnableVertexAttribArray(0)

    glBindBuffer(GL_ARRAY_BUFFER, vertex_vbo)
    glBufferData(GL_ARRAY_BUFFER, vertices.nbytes, vertices, GL_STATIC_DRAW)
    glVertexAttribPointer(0, 3, GL_FLOAT, False, 0, None)

    glBindVertexArray(0)

def render():
    glUseProgram(program)

    glUniform1i(glGetUniformLocation(program, 'vTexture'), 0)

    glBindVertexArray(vertex_vao)
    glDrawArrays(GL_TRIANGLES, 0, 6)
    glBindVertexArray(0)

if __name__ == '__main__':
    init_context()
    init_texture()
    init_shader()
    init_vao()

    print('Start rendering..')
    while not glfw.window_should_close(window):
        glClearColor(0, 0, 0, 1)
        glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT)

        render()

        glfw.swap_buffers(window)
        glfw.poll_events()

    glfw.destroy_window(window)
    glfw.terminate()

Fisheye distortion

Sat, 21 Mar 2020 05:33:06 +0900

カメラ座標

$$ P_c = \left( \begin{array}{c} X_c \ Y_c \ Z_c \end{array} \right) $$

$$ x’ = X_c / Z_c \ y’ = Y_c / Z_c \ r^2 = x’^2 + y’^2 \ \theta = {\rm atan}(r) $$

歪み補正 / Distortion correction

$$ \theta_d = \theta ( 1 + k_1 \theta^2 + k_2 \theta^4 + k_3 \theta^6 + k_4 \theta^8 )\ x’’ = \frac{ \theta_d }{r} x’ \ y’’ = \frac{ \theta_d }{r} y' $$

Lens Distortion

Sat, 21 Mar 2020 05:18:34 +0900

カメラ座標

$$ P_c = \left( \begin{array}{c} X_c \ Y_c \ Z_c \end{array} \right) $$

$$ x’ = X_c / Z_c \ y’ = Y_c / Z_c \ r^2 = x’^2 + y’^2 $$

歪み補正 / Distortion correction

$$ x’’ = x’ \frac{ 1 + k_1\ r^2 + k_2\ r^4 + k_3\ r^6 }{ 1 + k_4\ r^2 + k_5\ r^4 + k_6\ r^6 } + 2 p_1 x’ y’ + p_2 (r^2 + 2 x’^2) + s_1 r^2 + s_2 r^4 \ y’’ = y’ \frac{ 1 + k_1\ r^2 + k_2\ r^4 + k_3\ r^6 }{ 1 + k_4\ r^2 + k_5\ r^4 + k_6\ r^6 } + p_1 (r^2 + 2 y’^2) + 2 p_2 x’ y’ + s_1 r^2 + s_2 r^4 $$

歪みなしカメラ画像の座標変換

Sat, 21 Mar 2020 04:48:33 +0900

OpenCV: Camera Calibration and 3D Reconstruction

カメラ行列（内部パラメータ / intrinsic parameters）

$$ A = \left( \begin{array}{ccc} f_x & 0 & c_x \ 0 & f_y & c_y \ 0 & 0 & 1 \end{array} \right) $$

焦点距離 ( f_x, f_y )
- 単位は画素（pixels）
- 2つの役割をもつ
  - ピンホールカメラモデルにおける焦点距離(tex: f )（参考：ピンホールカメラモデル）
  - 任意の単位で表される変換前の座標からコンピュータ上の画素の単位であるピクセル単位に変換する
- ピンホールカメラモデルでは1つの焦点距離(tex: f )しかなかったのに、なぜ(tex: f_x, f_y )と2つ含まれているのか
  - 2つ目の役割（撮像素子の位置＝実世界の距離からピクセル単位に変換）のため、撮像素子の特性（px/mm）がx、y方向で異なる場合を想定している（( f_x, f_y )はレンズの物理的な焦点距離 ( tex: f )（mm）と撮像素子の特性( c_x, c_y)の積。また、カメラ画像からそれぞれを独立に求めることはできない）
  - 参考：computer vision - Why does the focal length in the camera intrinsics matrix have two dimensions? - Stack Overflow, Learning OpenCV
画像の中心 (c_x, c_y)
- 単位は画素（pixels）

射影変換行列（Perspective transform matrix, 外部パラメータ/ extrinsic parameters）

参考：2次元の射影変換行列

$$ [R|t] = \left( \begin{array}{cccc} r_{11} & r_{12} & r_{13} & t_x \ r_{21} & r_{22} & r_{23} & t_y \ \end{array} \right) $$

ピンホールカメラモデル

Sat, 21 Mar 2020 03:16:21 +0900

3次元空間をカメラで撮影したときの、「3次元空間（実世界）上の点の座標$(x, y, z)$」と「2次元写真平面上の点の座標$(u, v)$」の変換$(u, v) = T(x, y, z)$を考える。

カメラの位置を3次元空間における原点$O$とする。

ここでカメラに固有なパラメータとして、焦点距離$f (> 0)$を導入する。焦点距離は、カメラ（原点$O$）に入射した光が写真として実像を結ぶスクリーン（写真平面）までの距離である。この設定から、3次元空間上で写真平面（スクリーン）は$z = -f$にあるとわかる（写真平面をx-y平面と並行とし、z軸を3次元空間上の奥行きとする）。なお、$f$がより大きいカメラで撮影したとき、同じ距離にある被写体はより大きく写る（凸レンズ）。

（図はPinhole camera model - Wikipediaから引用。軸X1, X2, X3はx, y, zに、Y1, Y2はu, vに対応）

点P$(x, y, z)$から原点Oを通過し、スクリーン上の点Q$(-u, -v, -f)$に入射する光を考える。なお、実像は光軸を中心に上下左右に反転するため、このとき点Qは写真において座標$(u, v)$にある。

点Pからxz平面上に落とした点P’$(x, 0, z)$、点Qからxz平面上に落とした点Q’$(-u, 0, -f)$を導入する。ここで、三角形POP’と三角形QOQ’は共通の角度を持つ相似な三角形である。この性質から、辺POと辺P’Oの長さの比$x / z$、辺QOと辺Q’Oの長さの比$(-u) / (-f)$は等しい。すなわち、$\frac{x}{z} = \frac{u}{f}$。$u$について整理すると、$u = f \frac{x}{z}$。

（図はPinhole camera model - Wikipediaから引用。青線がスクリーン上の実像、赤線が実体。計算では図中の$f$を$-f$としている）

OpenCV FullScreen Window

Fri, 20 Mar 2020 16:19:30 +0900

Python - PythonのOpenCVでフルスクリーン表示｜teratail

import cv2

cv2.namedWindow('screen', cv2.WINDOW_NORMAL)
cv2.setProperty('screen', cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN)

This application failed to start because no Qt platform plugin could be initialized. Reinstalling the application may fix this problem.

python-opencvでQt plugin “cocoa"が見つからないというエラー - Qiita

黒画面

import cv2
import numpy as np

# Change here
WIDTH = 1920
HEIGHT = 1080

# For secondary monitor,
LEFT = 0
TOP = 0

screen = np.zeros((HEIGHT, WIDTH), dtype=np.uint8)
cv2.namedWindow('screen', cv2.WINDOW_NORMAL)
cv2.moveWindow('screen', LEFT, TOP)
cv2.setWindowProperty('screen', cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN)

cv2.imshow('screen', screen)

cv2.waitKey(0)

For dynamic image size,

Remote editing with Atom (rmate, sshfs)

Thu, 19 Mar 2020 15:17:04 +0900

rmate

AtomでSSH越しのファイルを編集する - Qiita

Install rmate in remote.
Install remote-atom as Atom package in local.
Configure “remote forwarding” of rmate port in local (local:port -> remote:port).
Open Atom in local.
Execute rmate file.txt in remote (ssh). Atom in local will show the file, and you can edit it.

rmate cannot be used for Atom Tree View (Project View). But tree command in ssh is useful for viewing project file entries.

PortAudio, pyaudio

Thu, 19 Mar 2020 10:17:00 +0900

PortAudio: PortAudio API Overview

Host API
- ALSA (Ubuntu)
- Core Audio (Mac)
Device
- Speaker
- Mic
Stream
- sample rate (num of samples per second)
- sample format (num of bytes of a sample, integer or float)

brew install portaudio
pip3 install pyaudio

macOSにpyaudioをインストールする - Qiita

Check Host APIs

import pyaudio

pa = pyaudio.PyAudio()

api_count = pa.get_host_api_count()
print('Host API:', api_count)

for i in range(api_count):
    api_info = pa.get_host_api_info_by_index(i)
    print(api_info)

    device_count = api_info['deviceCount']
    for j in range(device_count):
        device_info = pa.get_device_info_by_host_api_device_index(i, j)
        print(device_info)

pa.terminate()

Host API: 1
{'index': 0, 'structVersion': 1, 'type': 5, 'name': 'Core Audio', 'deviceCount': 2, 'defaultInputDevice': 0, 'defaultOutputDevice': 1}
{'index': 0, 'structVersion': 2, 'name': 'Built-in Microphone', 'hostApi': 0, 'maxInputChannels': 2, 'maxOutputChannels': 0, 'defaultLowInputLatency': 0.0029478458049886623, 'defaultLowOutputLatency': 0.01, 'defaultHighInputLatency': 0.01310657596371882, 'defaultHighOutputLatency': 0.1, 'defaultSampleRate': 44100.0}
{'index': 1, 'structVersion': 2, 'name': 'Built-in Output', 'hostApi': 0, 'maxInputChannels': 0, 'maxOutputChannels': 2, 'defaultLowInputLatency': 0.01, 'defaultLowOutputLatency': 0.007800453514739229, 'defaultHighInputLatency': 0.1, 'defaultHighOutputLatency': 0.017959183673469388, 'defaultSampleRate': 44100.0}

Check Devices

import pyaudio

pa = pyaudio.PyAudio()

device_count = pa.get_device_count()
print('Device:', device_count)

for i in range(device_count):
    device_info = pa.get_device_info_by_index(i)
    print(device_info)

pa.terminate()

Device: 2
{'index': 0, 'structVersion': 2, 'name': 'Built-in Microphone', 'hostApi': 0, 'maxInputChannels': 2, 'maxOutputChannels': 0, 'defaultLowInputLatency': 0.0029478458049886623, 'defaultLowOutputLatency': 0.01, 'defaultHighInputLatency': 0.01310657596371882, 'defaultHighOutputLatency': 0.1, 'defaultSampleRate': 44100.0}
{'index': 1, 'structVersion': 2, 'name': 'Built-in Output', 'hostApi': 0, 'maxInputChannels': 0, 'maxOutputChannels': 2, 'defaultLowInputLatency': 0.01, 'defaultLowOutputLatency': 0.007800453514739229, 'defaultHighInputLatency': 0.1, 'defaultHighOutputLatency': 0.017959183673469388, 'defaultSampleRate': 44100.0}

Stream

※ waveだけ鳴らせればいい場合はwaveモジュールを使ってください（参照）

Flask, sqlalchemy

Mon, 16 Mar 2020 14:42:07 +0900

Flask

sqlalchemy

tagify

Tagify - demo

python-markdown

MathJax

highlight.js

Ace Editor

Unique/Random ID

[Python] UUIDを生成するuuid.uuid4()はどうやってUUIDを生成しているのか？｜ Developers.IO
- #os.urandom os — 雑多なオペレーティングシステムインタフェース — Python 3.8.2 ドキュメント

os.urandom(NUM_BYTES).hex()

Python Dockerfile

Mon, 16 Mar 2020 14:30:09 +0900

FROM python:3

RUN mkdir /code
WORKDIR /code
COPY requirements.txt /code/
RUN pip install -r requirements.txt

OGP / Open Graph Protocol, favicon

Sun, 15 Mar 2020 10:18:34 +0900

<meta property="og:locale" content="ja_JP">
<meta property="og:type" content="website">
<meta property="og:title" content="TITLE">
<meta property="og:description" content="DESCRIPTION">
<meta property="og:image" content="IMAGE_FULL_URL">

<link rel="shortcut icon" href="FAVICON_URL">

https://qiita.com/uraranbon/items/a143d215b7baa3e9d1a0

pydub numpy

Sat, 14 Mar 2020 18:05:02 +0900

from pydub import *
import numpy as np
import time

# https://own-search-and-study.xyz/2017/11/19/numpy%E3%81%AEarray%E3%81%8B%E3%82%89pydub%E3%81%AEaudiosegment%E3%82%92%E4%BD%9C%E6%88%90%E3%81%99%E3%82%8B/

# https://maoudamashii.jokersounds.com/archives/song_kouichi_the_milky_way.html
path = 'song_kouichi_the_milky_way.m4a'

# https://github.com/jiaaro/pydub/blob/master/API.markdown#audiosegmentfrom_file
sound = AudioSegment.from_file(path, format='m4a') # give format explicitly
samples = np.array(sound.get_array_of_samples())

print(path)
print('Sample width (Num of bytes of a sample):', sound.sample_width)
print('Frame rate (Num of samples per second):', sound.frame_rate)
print('Channels (Stereo/Mono):', sound.channels)
print('Shape (Length):', samples.shape)
print('Type:', samples.dtype)
print('Min/Max:', samples.min(), samples.max())

output = AudioSegment(
    samples.astype('int32').tobytes(),
    sample_width=4,
    frame_rate=44100,
    channels=2,
)

ts = time.time()
output.export('output.m4a')
elapsed = time.time() - ts
print('Exported as m4a: %f s' % elapsed)

ts = time.time()
output.export('output.mp3')
elapsed = time.time() - ts
print('Exported as mp3: %f s' % elapsed)

ts = time.time()
output.export('output.wav')
elapsed = time.time() - ts
print('Exported as wav: %f s' % elapsed)

song_kouichi_the_milky_way.m4a
Sample width (Num of bytes of a sample): 2
Frame rate (Num of samples per second): 44100
Channels (Stereo/Mono): 2
Shape (Length): (22339584,)
Type: int16
Min/Max: -32768 32767
Exported as m4a: 6.288757 s
Exported as mp3: 6.194534 s
Exported as wav: 6.064215 s

出力時間はフォーマットによって変わらない（誤差の範囲）

Jetson Nano セットアップとおためし

Mon, 02 Dec 2019 10:00:00 +0900

メモ。

TPLink Wireless Driver

開発ボードにはWi-Fiモジュールが乗ってないので、USBドングルで無線LANにつなぐ（セットアップは有線で）。

TPLink Archer T2U Nanoを使う。

NVIDIA Developer Forumsのつい最近（11/27）のポストで、新しいcommitで動かなくなっちゃったからCommit IDd277c36がいいよ、っていってる人がいる。でもT2U NanoのIDが登録されたのは2つ後の4235b0eなので、これを使ってみたけど、これで動いた（OSはr32.2.3）。この1つ後（現在masterの最新commit）のfa68771は接続が確立しなかった（パスワードの入力を何度でも求められる）。警告回避のためにリファクタリングしたらバグったっぽい（コミットコメント、プルリク）。

sudo apt install dkms

git clone https://github.com/abperiasamy/rtl8812AU_8821AU_linux.git
git checkout 4235b0ec7d7220a6364586d8e25b1e8cb99c36f1

Edit Makefile
CONFIG_PLATFORM_I386_PC = n
CONFIG_PLATFORM_ARM_JET_NANO = y

sudo make -f Makefile.dkms install
reboot

ibus-mozc

sudo apt install ibus-mozc
killall ibus-daemon
ibus-daemon -x &

Python

PyTorch使うならシステムのPython 3.6.9を使うのがよさそうだったので、そのまま

RealSenseのカラー画像が暗い

Sat, 23 Nov 2019 08:47:59 +0900

使用：Intel RealSense SR300

pyrealsense2からget_color_frameで取得したカラー画像が暗かった。

RealSense SDKをインストールしてRealSense Viewerで確認してみると、RGB Cameraの項のEnable Auto Exposureの値がOFFになっていた。これをONにしたらプレビュー画像が明るくなった（露光の自動調整機能かな）。

次はコード（Python）からこのオプションを有効にする。（Pythonの）サンプルにはオプションをいじってるいい感じのものが見つからなかったので、以下を参考にしつつipythonで探した。

デバイスとカラーセンサ（カメラ）を見つける部分（前半）は適当だけど、コード全体はこんな感じ。

import pyrealsense2 as rs
import numpy as np
import cv2

ctx = rs.context()
device_list = ctx.query_devices()
num_devices = device_list.size()
print(num_devices)
assert num_devices > 0

device = device_list[0]
sensors = device.query_sensors()

color_idx = -1
for i in range(len(sensors)):
    if not sensors[i].is_depth_sensor():
        color_idx = i
        break
assert color_idx != -1

color_sensor = sensors[color_idx]
color_sensor.set_option(rs.option.enable_auto_exposure, 1) # on

pipeline = rs.pipeline(ctx=ctx)
config = rs.config()
config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30)

pipeline.start(config)

print('Initialized')

try:
    while True:
        frames = pipeline.wait_for_frames()
        color_frame = frames.get_color_frame()
        if not color_frame:
            print('no frame')
            continue

        color_image = np.asanyarray(color_frame.get_data(), dtype=np.uint8)
        print(color_image.max(), color_image.min())
        print(color_image.shape)

        cv2.namedWindow('RealSense', cv2.WINDOW_AUTOSIZE)
        cv2.imshow('RealSense', color_image)
        cv2.waitKey(1)

finally:
    pipeline.stop()

センサに対してオプションを設定する部分。

darknet.py OpenCV

Wed, 30 Oct 2019 14:03:48 +0900

darknet.pyにコードが古くなってるっぽいexamples/detector-scipy-opencv.pyのOpenCV部を取り込み、Python 3用に

import cv2

import sys, os
sys.path.append(os.path.join(os.getcwd(),'python/'))

import darknet as dn

net = dn.load_net("cfg/yolov3.cfg", "backup/hoge.weights", 0)
meta = dn.load_meta('cfg/yolov3.cfg')

np_image = cv2.imread('data/dog.jpg')
r = dn.detect_cv(net, meta, np_image)

print(r)

from ctypes import *
import math
import random

import os

DARKNET_SO_PATH = os.environ.get('DARKNET_SO_PATH', os.path.realpath('./libdarknet.so'))
# assert os.path.exists(DARKNET_SO_PATH), DARKNET_SO_PATH


def sample(probs):
    s = sum(probs)
    probs = [a/s for a in probs]
    r = random.uniform(0, 1)
    for i in range(len(probs)):
        r = r - probs[i]
        if r <= 0:
            return i
    return len(probs)-1

def c_array(ctype, values):
    arr = (ctype*len(values))()
    arr[:] = values
    return arr

class BOX(Structure):
    _fields_ = [("x", c_float),
                ("y", c_float),
                ("w", c_float),
                ("h", c_float)]

class DETECTION(Structure):
    _fields_ = [("bbox", BOX),
                ("classes", c_int),
                ("prob", POINTER(c_float)),
                ("mask", POINTER(c_float)),
                ("objectness", c_float),
                ("sort_class", c_int)]


class IMAGE(Structure):
    _fields_ = [("w", c_int),
                ("h", c_int),
                ("c", c_int),
                ("data", POINTER(c_float))]

class METADATA(Structure):
    _fields_ = [("classes", c_int),
                ("names", POINTER(c_char_p))]



#lib = CDLL("/home/pjreddie/documents/darknet/libdarknet.so", RTLD_GLOBAL)
# lib = CDLL("libdarknet.so", RTLD_GLOBAL)
lib = CDLL(DARKNET_SO_PATH, RTLD_GLOBAL)
lib.network_width.argtypes = [c_void_p]
lib.network_width.restype = c_int
lib.network_height.argtypes = [c_void_p]
lib.network_height.restype = c_int

predict = lib.network_predict
predict.argtypes = [c_void_p, POINTER(c_float)]
predict.restype = POINTER(c_float)

set_gpu = lib.cuda_set_device
set_gpu.argtypes = [c_int]

make_image = lib.make_image
make_image.argtypes = [c_int, c_int, c_int]
make_image.restype = IMAGE

get_network_boxes = lib.get_network_boxes
get_network_boxes.argtypes = [c_void_p, c_int, c_int, c_float, c_float, POINTER(c_int), c_int, POINTER(c_int)]
get_network_boxes.restype = POINTER(DETECTION)

make_network_boxes = lib.make_network_boxes
make_network_boxes.argtypes = [c_void_p]
make_network_boxes.restype = POINTER(DETECTION)

free_detections = lib.free_detections
free_detections.argtypes = [POINTER(DETECTION), c_int]

free_ptrs = lib.free_ptrs
free_ptrs.argtypes = [POINTER(c_void_p), c_int]

network_predict = lib.network_predict
network_predict.argtypes = [c_void_p, POINTER(c_float)]

reset_rnn = lib.reset_rnn
reset_rnn.argtypes = [c_void_p]

_load_net = lib.load_network
_load_net.argtypes = [c_char_p, c_char_p, c_int]
_load_net.restype = c_void_p

do_nms_obj = lib.do_nms_obj
do_nms_obj.argtypes = [POINTER(DETECTION), c_int, c_int, c_float]

do_nms_sort = lib.do_nms_sort
do_nms_sort.argtypes = [POINTER(DETECTION), c_int, c_int, c_float]

free_image = lib.free_image
free_image.argtypes = [IMAGE]

letterbox_image = lib.letterbox_image
letterbox_image.argtypes = [IMAGE, c_int, c_int]
letterbox_image.restype = IMAGE

_load_meta = lib.get_metadata
lib.get_metadata.argtypes = [c_char_p]
lib.get_metadata.restype = METADATA

load_image = lib.load_image_color
load_image.argtypes = [c_char_p, c_int, c_int]
load_image.restype = IMAGE

rgbgr_image = lib.rgbgr_image
rgbgr_image.argtypes = [IMAGE]

predict_image = lib.network_predict_image
predict_image.argtypes = [c_void_p, IMAGE]
predict_image.restype = POINTER(c_float)

def classify(net, meta, im):
    out = predict_image(net, im)
    res = []
    for i in range(meta.classes):
        res.append((meta.names[i], out[i]))
    res = sorted(res, key=lambda x: -x[1])
    return res

def load_net(cfg_path, weights_path, clear=0):
    return _load_net(cfg_path.encode('ascii'), weights_path.encode('ascii'), clear)
def load_meta(cfg_path):
    return _load_meta(cfg_path.encode('ascii'))

def _detect(net, meta, im, thresh=.5, hier_thresh=.5, nms=.45):
    num = c_int(0)
    pnum = pointer(num)
    predict_image(net, im)
    dets = get_network_boxes(net, im.w, im.h, thresh, hier_thresh, None, 0, pnum)
    num = pnum[0]
    if (nms): do_nms_obj(dets, num, meta.classes, nms);

    res = []
    for j in range(num):
        for i in range(meta.classes):
            if dets[j].prob[i] > 0:
                b = dets[j].bbox
                res.append((meta.names[i], dets[j].prob[i], (b.x, b.y, b.w, b.h)))
    res = sorted(res, key=lambda x: -x[1])

    free_detections(dets, num)
    return res

def detect(net, meta, image_path, thresh=.5, hier_thresh=.5, nms=.45):
    im = load_image(image_path, 0, 0)
    res = _detect(net, meta, im, thresh, hier_thresh, nms)
    free_image(im)

    return res

def array_to_image(arr):
    arr = arr.transpose(2,0,1)
    c = arr.shape[0]
    h = arr.shape[1]
    w = arr.shape[2]
    arr = (arr/255.0).flatten()
    data = c_array(c_float, arr)
    im = IMAGE(w,h,c,data)
    return im

def detect_cv(net, meta, np_image, thresh=.5, hier_thresh=.5, nms=.45):
    im = array_to_image(np_image)
    rgbgr_image(im)

    return _detect(net, meta, im, thresh, hier_thresh, nms)

Yolo v3でObject Detectionする（darknet）

Fri, 27 Sep 2019 17:01:00 +0900

https://github.com/pjreddie/darknet

git clone https://github.com/pjreddie/darknet.git

データセットの作成

mydata.data

classes = CLASS_NUM
train = mydata-train.txt
test = mydata-test.txt
names = mydata.names
backup = backup/mydata/

各ファイルパスはdarknetの実行ディレクトリからの相対パス。

mydata.names

category1
category2
category3
...
categoryCLASS_NUM

ラベル＝[クラスの数値表現]に対応するクラス名（行番号＝ラベル）を記述する。

mydata-train.txt、mydata-test.txtにはデータセット（訓練データ、テストデータ）に含まれる画像のパスをそれぞれ1画像＝1行で記述する。

データセットの画像と同じ階層に、IMAGE.jpgのアノテーション情報としてIMAGE.txtを配置する必要がある（1画像＝1アノテーションファイル）。

IMAGE.txt

label center_x center_y width height

カラムはスペース区切りで、BoundingBox1つ＝1行で記述する。

画像中のオブジェクトの種類はlabel（0始まりの数値）で表現する。

画像中のオブジェクトのBoundingBoxはcenter_x、center_y、width、height（オブジェクト中心X座標、オブジェクト中心Y座標、オブジェクト幅、オブジェクト高さ）の4パラメータで表現する。center_x、widthは画像幅で除算、center_y、heightは画像高さで除算し、実数で記述する。

設定ファイルの作成

cfgディレクトリ以下のファイルをベースに使う。

batch、subdivision, width, heightなどをメモリサイズなどに応じて変更する。デフォルトでは画像にランダムリサイズがかかるようになっているので、メモリ使用量が変動することに注意。

Yolo v3

cfg/yolov3.cfgをコピーする（mydata-yolov3.cfg）。

CLASS_NUM=クラス数

# L610, 696, 783
classes=CLASS_NUM

# L603, 689, 776
filters=(CLASS_NUM + 5) * 3

Yolo v3の例

# L610, 696, 783
classes=1

# L603, 689, 776
filters=18

Tiny Yolo v3

cfg/yolov3-tiny.cfgをコピーする（mydata-yolov3-tiny.cfg）。

CUDA setup (make darknet)

Fri, 27 Sep 2019 17:00:00 +0900

darknetのmakeに失敗するので、CUDA/NVIDIA Driverの再セットアップ。

https://developer.nvidia.com/cuda-downloads

runfile (local)をダウンロード。

apt purge nvidia-*
apt purge cuda-*
reboot

あとはrunfileを実行してCUIでNVIDIA DriverとCUDA Toolkitをインストール（CUIモードでsystemctl stop lightdm←16.04の場合だった、18.04ならgdm？）。

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

.bashrc（Ubuntuの場合）に上の2行を追記する。

Ubuntu 18.04.3
CUDA Toolkit 10.1 & NVIDIA Driver 418（cuda_10.1.243_418.87.00）
darknet（#61c9d02）

上記の環境でdarknetのmakeに成功した。

https://pjreddie.com/darknet/

参考

http://vastee.hatenablog.com/entry/2018/11/20/152234

Python ログ出力抑制デコレータ

Wed, 25 Sep 2019 23:42:51 +0900

出力を抑制するデコレータ。

Python 3.7.4、ctypesを使ったライブラリ呼び出しで動作を確認（darknet.py）。

# 標準出力・標準エラー出力の抑制
def silent(verbose=False):
    def _silent(func):
        def wrapper(*args, **kwargs):
            if not verbose:
                devnull = open(os.devnull, 'w')
                stdout = os.dup(1)
                stderr = os.dup(2)
                os.dup2(devnull.fileno(), 1)
                os.dup2(devnull.fileno(), 2)

            res = func(*args, **kwargs)

            if not verbose:
                os.dup2(stdout, 1)
                os.dup2(stderr, 2)
                devnull.close()

            return res

        return wrapper
    return _silent

使い方のイメージ（デコレータなせいで長くなってしまう、デコレータじゃなくて単純にコールバック風に関数を呼び出すラップ関数作ってもいいかも…）。

def func(verbose=False):
    @silent(verbose=verbose)
    def _func():
        cfunc()
    
    funcA()
    _func()
    funcB()

参考

ログ監視 Python watchdog（ログローテーション未完成）

Wed, 10 Jul 2019 00:09:55 +0900

アプリケーションのログファイルを監視するシステムをつくる。

上の2つをがっちゃんこしたやつを作った。ファイルの変更監視はwatchdog、読み取りはふつうのIO。

※ うーん、ログローテーション対応が微妙かも

from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler
import time
import os
from stat import *

class FileWatchHandler(FileSystemEventHandler):
    def __init__(self, path):
        self.path = os.path.realpath(path)
        self.fp = None
        self.fpos = None

        self.init()

        filesize = os.stat(self.path)[ST_SIZE]
        self.fp.seek(filesize) # ファイル末尾
        self.fpos = filesize

    def init(self):
        fp = self.fp
        if fp:
            fp.close()
        fp = open(self.path, 'r')

        self.fp = fp
        self.fpos = None

    def on_created(self, event):
        if event.src_path == self.path:
            print('reset')
            self.init()

    def on_modified(self, event):
        if event.src_path == self.path:
            print('modified')
            self.tail_f()

    def tail_f(self):
        if self.fpos:
            self.fp.seek(self.fpos)

        while True:
            self.fpos = self.fp.tell()
            line = self.fp.readline()

            if not line:
                break
            self.analyze(line)

    def analyze(self, line):
        # TODO:
        print('!', line)

    def close(self):
        self.fp.close()

path = 'test.txt'

handler = FileWatchHandler(path)
observer = Observer()
observer.schedule(handler, os.path.dirname(os.path.realpath(path)))
observer.start()

try:
    observer.join()
except KeyboardInterrupt:
    pass

observer.stop()
handler.close()

print('closed')

※ ちょっと修正してみたけど、やっぱり微妙

Java 11 JRE付きエクスポート

Wed, 06 Feb 2019 13:14:12 +0900

あんまり分かってないけど、とりあえずJRE付きでエクスポートまではできた。

Java 9以降のこと

Oracle Java(JDK)のリリースモデルが変わった
Public JRE（Oracleが無償配布してたJRE）がなくなった
Oracle JDKの配布が有償のみになる（Java 11以降）
来月にはJava 10が登場し、9月にはJava 11が登場予定。新しいリリースモデルを採用した今後のJava、入手方法やサポート期間はこう変わる（OpenJDKに関する追記あり）－ Publickey

これまでの実行可能Jar

Javaランタイム（JRE）を同梱しなくても、システムにインストールされたPublic JREで実行できた

これから

システムにJREがない
同様に実行できるようにするには、JREをアプリケーションに同梱する必要がある（？）
- これまでもrt.jarがJREの同梱された形としてあったはず

Jigsawモジュールシステム

Java 9以降導入されたJavaの依存関係システム。

依存関係はmodule-info.javaファイルに記述する。

module sample.module {
    requires java.base; // 不要（省略可）
}

モジュールシステムを学ぶ - Qiita

実行可能Jarのエクスポート（Maven、JREなし）

Java 8まで、こんな感じだった。

Maven pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.example.sample</groupId>
    <artifactId>Sample</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <java.version>8</java.version>
        <maven.compiler.source>${java.version}</maven.compiler.source>
        <maven.compiler.target>${java.version}</maven.compiler.target>
    </properties>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-jar-plugin</artifactId>
                <version>3.1.1</version>

                <configuration>
                    <archive>
                        <manifest>
                            <addClasspath>true</addClasspath>
                            <mainClass>com.example.sample.Main</mainClass>
                        </manifest>
                    </archive>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

JREの生成（手動、module-info使用）

コンパイルしたクラスファイルのディレクトリを指定

json, bson, sqlite3 IOの実験メモ

Sat, 15 Dec 2018 10:56:18 +0900

Windows 10
Python 3.6.6
bson==0.5.7
SSD

JSON

import json
import random
import time

file = 'test.tmp'
N = 500

# Generate
start = time.time()
entries = []
for i in range(N):
    title = ''.join([
        chr(random.randint(ord('あ'), ord('ん')+1)) for i in range(32)
    ])
    body = ''.join([
        chr(random.randint(ord('あ'), ord('ん')+1)) for i in range(30000)
    ])

    entries.append({
        'id': i,
        'title': title,
        'body': body,
    })

data = {
    'entries': entries,
}

end = time.time()
print('Generate: %.1fs' % (end - start, ))

Generate: 38.6s

import os

# Write
start = time.time()
with open(file, 'w', encoding='utf-8') as fp:
    json.dump(data, fp, ensure_ascii=False)

end = time.time()
print('Write: %.3fs' % (end - start, ))

print('%.2fMB' % (os.path.getsize(file)/(1024**2), ))

# Read
start = time.time()
with open(file, 'r', encoding='utf-8') as fp:
    data = json.load(fp)

end = time.time()
print('Read: %.3fs' % (end - start, ))

Write: 0.252s
42.98MB
Read: 0.214s

BSON

pip install bson

import bson

# Write
start = time.time()
s = bson.dumps(data)
print('%.2fMB' % (len(s)/(1024**2), ))

dumpEnd = time.time()

with open(file, 'wb') as fp:
    fp.write(s)

end = time.time()

print('Write: %.3fs (Dump: %.3fs)' % (end - start, dumpEnd - start))


# Read
start = time.time()

with open(file, 'rb') as fp:
    s = fp.read()

loadStart = time.time()

data = bson.loads(s)
end = time.time()

print('Read: %.3fs (Load: %.3fs)' % (end - start, end - loadStart))

42.98MB
Write: 0.830s (Dump: 0.638s)
Read: 0.156s (Load: 0.095s)

SQLite3

import sqlite3

if os.path.exists(file):
    os.unlink(file)

start = time.time()
with sqlite3.connect(file) as db:
    cur = db.cursor()

    cur.execute(
        'CREATE TABLE entries(id INTEGER AUTO INCREMENT, title TEXT, body TEXT)'
    )
    for entry in data['entries']:
        cur.execute(
            'INSERT INTO entries VALUES(?,?,?)',
            (
                entry['id'],
                entry['title'],
                entry['body'],
            ),
        )
    
end = time.time()

print('Write: %.3fs' % (end - start, ))

start = time.time()
with sqlite3.connect(file) as db:
    cur = db.cursor()

    results = []
    for row in cur.execute('SELECT * FROM entries'):
        results.append(row)

end = time.time()

print('Read: %.3fs' % (end - start, ))


print('%.2fMB' % (os.path.getsize(file)/(1024**2), ))

db.close()

Write: 1.093s
Read: 0.243s
43.22MB

HOG特徴量の計算（Scikit-image）

Sat, 15 Dec 2018 02:18:47 +0900

pip install scikit-image

from skimage.feature import hog
import numpy as np

size = 32
channel = 1
image = np.random.randn(size, size, channel)
feature = hog(image)

print(feature.shape)
print(feature)

デフォルト（勾配方向数9, セルサイズ8, ブロックサイズ3）では32x32の画像に対して324次元のHOG特徴量が出力される。

出力例

(324,)
[0.01877925 0.00125122 0.00899619 0.00630656 0.01330613 0.0150924
...
0.00763393 0.01668535 0.01852621 0.01204107 0.00433798 0.01147866]

PythonからPaSoRiを使って交通系ICカードのIDmを読む

Thu, 30 Aug 2018 16:46:19 +0900

環境

Ubuntu 18.04 (VirtualBox on Windows 10)
Python 2.7.15rc1（nfcpyはPython3非対応のため）
Sony PaSoRi RC-S380
Suica

（2019/12/19 追記）未検証ですがnfcpyがv1.0.0でPython3対応したみたいです。https://github.com/nfcpy/nfcpy/issues/47#issuecomment-499693493

セットアップ

まずPaSoRiを接続する。PaSoRiをUSBポートに挿して、VirtualBox仮想マシンの設定からUSB、USB デバイスフィルターにSONY RC-S380/Pを追加。

$ lsusb
Bus 001 Device 004: ID 054c:06c3 Sony Corp.
...

これでOK。

次にnfcpyのインストール（※Python2に導入すること、virtualenvを使うといいのでは）。

pip install nfcpy

いくらか準備が必要なので、python -m nfcを実行する。

$ python -m nfc
No handlers could be found for logger "nfc.llcp.sec"
This is the 0.13.5 version of nfcpy run in Python 2.7.15rc1
on Linux-4.15.0-33-generic-x86_64-with-Ubuntu-18.04-bionic
I'm now searching your system for contactless devices
** found usb:054c:06c3 at usb:001:004 but access is denied
-- the device is owned by 'root' but you are 'USERNAME'
-- also members of the 'root' group would be permitted
-- you could use 'sudo' but this is not recommended
-- better assign the device to the 'plugdev' group
   sudo sh -c 'echo SUBSYSTEM==\"usb\", ACTION==\"add\", ATTRS{idVendor}==\"054c\", ATTRS{idProduct}==\"06c3\", GROUP=\"plugdev\" >> /etc/udev/rules.d/nfcdev.rules'
   sudo udevadm control -R # then re-attach device
I'm not trying serial devices because you haven't told me
-- add the option '--search-tty' to have me looking
-- but beware that this may break other serial devs
Sorry, but I couldn't find any contactless device

一般ユーザーの場合こんなメッセージが出るので、指示通りデバイスをplugdevグループに割り当てる。

プライベートリポジトリに対してgit cloneがNot Found吐くとき（複数アカウント運用）

Wed, 29 Aug 2018 03:47:08 +0900

環境

Windows 10

原因

Windows 資格情報に対象のリポジトリのあるアカウント以外の認証情報が記録されていた。

解決

資格情報マネージャー（Credential Manager）を開いてWindows 資格情報、汎用資格情報からgitを削除。

これでclone時にログイン用のブラウザが表示される（GitHub）。

参考

VS2017でOpenCVをビルドする

Sun, 24 Sep 2017 12:32:03 +0900

What

Visual Studio 2017でOpenCVをビルドしたい。

Environment

Windows 10 Home
Visual Studio 2017
CMake 3.9.3

How

Download Sources

git clone https://github.com/opencv/opencv.git

または

OpenCV library

CMake

CMake

CMake-GUIを起動、上部のテキストフィールドにソースのパスと出力先パスを入力する。ソースはgit cloneしてきたならopencvフォルダ、CMakeLists.txtのあるところ。出力先は適当にbuildとか。

Configureを押してVisual Studio 15 2017 Win64を選択、“Finish”。設定が始まる。

終わったら"Generate"。出力先にOpenCV.slnが生成される。

17/11/05追記：“Generate"の前にBUILD_*の設定を変えると出力されるlibが変わる。

Visual Studio

OpenCV.slnを開いて、構成をReleaseに変えてCMakeTargets/INSTALLをビルド。

17/11/05追記：_dのつくデバッグ用ライブラリを生成したいならDebug構成でビルドすればよい。

正常に終われば、出力先のinstall\x64\vc15\libにopencv_core330.libなどが出力されている。

VS2017でOpenCVを使う（Win pack）

install\x64\vc15\binにPATHを通し、上のページに従ってVSプロジェクトを設定（ライブラリは適宜必要なもの）する。

Reference

OpenCV: Installation in Windows

VS2017でOpenCVを使う（Win pack）

Sun, 24 Sep 2017 11:03:38 +0900

What

Visual Studio 2017でOpenCVを使いたい。

Environment

Windows 10 Home
Visual Studio 2017

How

OpenCVのダウンロード

OpenCV library

OpenCV libraryのReleasesから最新の"Win pack"をダウンロード。

“Win pack"は自己展開exeになっているので、適当なディレクトリを指定して展開。

VSプロジェクトの設定

新規にプロジェクトを作る場合、Visual C++から空のプロジェクトを作成。

ソリューションエクスプローラからプロジェクトのプロパティを開き、“VC++ディレクトリ"のツリーに移る。

“インクルードディレクトリ”、“ライブラリディレクトリ"を編集し、展開ディレクトリ以下のbuild\includeをそれぞれに追加する。

“リンカー"のツリーに移り、“追加のライブラリディレクトリ"を編集し、展開ディレクトリ以下のbuild\x64\vc14\libを追加する。

“リンカー"のツリーから、“入力"を選択し、“追加の依存ファイル"に必要なライブラリ（.lib）を追加する。Win packにはopencv_world330d.lib（デバッグ）とopencv_world330.lib（リリース）しかないので、構成に対応する方を追加。

PATHの設定

展開ディレクトリ以下のbuild\x64\vc14\binにPATHを通す。

サンプル

#include <iostream>
#include <opencv2\opencv.hpp>

using namespace cv;

int main() {
  Mat mat(400, 400, CV_8UC3, Scalar(255, 128, 0));

  imshow("mat", mat);

  waitKey(0);

  return 0;
}

水色のウインドウが表示されればOK。ウインドウをアクティブにして何かキーを押せば終了する。

MSYS2でPython3を使う

Sun, 24 Sep 2017 09:44:24 +0900

What

MSYS2でPython3を使いたい。

Environment

Windows 10 Home

How

$ pacman -S pythonで最新のPythonが入る。 $ pacman -S python3-pipでPython3のpipが入る。

例えばPython 3.6.2を入れたとして、実行するにはpython、python3かpython3.6。

Appendix

バージョン合わせ

export PATH="/mingw64/bin:${PATH}"

上のように.bash_profileをいじってMinGWのbinをPATHに入れて動かしていると、pythonのバージョンが合わないときがある。

pythonで最新のPythonを動かしたいときは、

export PATH="${PATH}:/mingw64/bin"

とすれば動く。

エクスプローラからMSYS2を開く + メニュー項目の追加

Sun, 24 Sep 2017 09:15:10 +0900

What

MSYS2をエクスプローラから開きたい

Environment

Windows 10 Home

How

u_msys2.reg

Windows Registry Editor Version 5.00

[HKEY_CLASSES_ROOT\Directory\Background\shell\u_msys2]
@="MSYS2 Here"

[HKEY_CLASSES_ROOT\Directory\Background\shell\u_msys2\command]
@="C:\\msys64\\msys2.exe"

上のようにレジストリキーを追加する。

#CHERE_INVOKING=1
#MSYS2_PATH_TYPE=inherit

msys2.iniで上のコメントアウトを外し、起動時にパスがエクスプローラ側のフォルダになるようにする（どこから持ってきてるんだ？　作業フォルダ？）。

Appendix

エクスプローラの右クリックメニューに任意の項目を追加する

以下のレジストリキーに特定のサブキーを追加する。

対象	キー名
フォルダの背景	`HKEY_CLASSES_ROOT\Directory\Background\shell`
フォルダ	`HKEY_CLASSES_ROOT\Folder\shell`
任意のファイル	`HKEY_CLASSES_ROOT\*\shell`
ファイル `*.hoge`	`HKEY_CLASSES_ROOT\.hoge\shell`

追加するサブキーはhoge、hoge\commandの2つ。hogeには自由な名前を付けられるっぽい。

hogeには、既定値にメニューの名称を設定。

hoge\commandには、既定値にアプリケーションパスを設定。これは、PATHを通していても無効かもしれない。%Vは"メニューを開いた"、つまり選択したパスで置換される。

Sample

以下はフォルダの右クリックメニューにcmd.exe /k dirを実行する項目"TEST"を追加するサンプル。

u_dir.reg

Windows Registry Editor Version 5.00

[HKEY_CLASSES_ROOT\Folder\shell\u_dir]
@="TEST"

[HKEY_CLASSES_ROOT\Folder\shell\u_dir\command]
@="cmd.exe /k dir"

こちらは同キーを削除する。 !u_dir.reg

Windows Registry Editor Version 5.00

[-HKEY_CLASSES_ROOT\Folder\shell\u_dir]