とーますメモ

Ruby on Rails / Goなどの学習メモ

【Python】Pythonを学習してみて思ったこと

自分用メモ。

普段はRubyを使っているので、
以下の本を読みながら思ったことをメモしていく。
なにかの言語を既に触っているんだったら、1日あれば十分読める。

独学プログラマー Python言語の基本から仕事のやり方まで

独学プログラマー Python言語の基本から仕事のやり方まで

Rubyとの違い

・bool値がtureやfalseの小文字ではなく、先頭の文字を大文字にしたTrueとFalseが使用される。
Pythonは大文字と小文字を識別するので、tureやfalseと書いた場合エラーになる。
・nilではなく、None
・定数がない。慣習的に大文字とアンダーバー(_)で定数であることを表現する場合が多い。
・論理演算子で「&&」「|| 」「!」が使用できない。「and」「or」「not」を使用する。
・elsifではなくelif。elseは同じ。
・関数宣言のキーワードは、rubyと同じdef。
・if、elif、else、for、関数宣言の前などの最後にコロン(:)を書く。
・例外処理はtry - except - finally
・リストへの作成はlist = []で同じだが、追加はlist.appendという文法を使う。(<<できない)
・タプルというRubyでいう配列要素をfreezeしたようなものが使える。
・穴埋め文字列はPythondだとこんな感じ。"{}は{}年に生まれました。".format(author, year_born)。{}が文字が埋まる場所になる。
・Pythonのクラスでは、プライベート変数はない。Pythonの変数全てパブリックなので、アンダーバーを変数につけて名前規約でカバーする。
・x.nil?ではなくx is None

【Python】簡単な開発環境構築

Pythonの基本環境構築は前回の記事で書いたので、その続き。
thoames.hatenadiary.jp

アプリの起動を逐一「pipenv shell」=> 「python app.py」とかするのが面倒くさいので
Pipfileに以下のように書いておけば、「pipenv run start」とすることでアプリを一発で起動できる。
何度の入力するコマンドなので、登録しておいたほうが良い。

[scripts]
start = "python app.py"

1)静的解析

他のツールであるpep8やpyflakesなどを包括している便利なラッパーなのでflake8を使用。
開発環境のみでしようするので「--dev」オプションを付けてインストール

$ pipenv install --dev flake8

flakeの設定ファイル(setup.cfgまたは.flake8)に以下の設定を追加
ここでは、Lint対象から除外するファイル及びディレクトリの設定、
1行あたりの文字数を設定、それとインデントをPEP8デフォルトの4にするルールを無視し、
インデント幅を2にしている。これは完全に好み。

[flake8]
exclude = .git, .tox, .venv, .eggs, build, dist, docs, tests/*
max-line-length = 120
ignore = E111, E114
indent-size = 2

普通に使う方法は「pipenv run flake8」を打つだけ。
自分の場合は「--show-source」オプションを付けて、ソースコードのどの部分を修正すればよいか詳しく
知りたいので、Pipfileの編集しショートカットを登録。

[scripts]
 :
lint = "flake8 --show-source ."
 :

以下のコマンドでflake8を起動

$ pipenv run lint

flake8には他にも便利なプラグインがあるので使用する。

[flake8-todo]: ソース内のTODO、FIXME、XXXを検出してくれる。
[flake8-quotes]: ダブルクオーテーションを使用しているかをチェックする。
※flake8-double-quotesも使用してみたが、動作しなかった。。。※python 3.7.2で検証
[flake8-print]: printデバックしてる箇所を見つける。(使用しないようにする)

flake8のプラグインは「pip search flake8-」で検索すると大量に表示される。

以下ではflake8-todoをインストールする例を示す。

インストール

$ pipenv install --dev flake8-todo

確認

$ pipenv run flake8 --version

後は普通にflake8を実行すれば、TODO箇所を抽出してくれる。

2)コードフォーマット

autopep8を使用する。

インストール

$ pipenv install --dev autopep8

インデント幅などの設定を書きたいときは、setup.cfg, tox.ini, .pep8または.flake8に書く。
また設定セクションはpep8, pycodestyleまたはflake8をセクションとして使用できる。
自分は以下のように設定

[pycodestyle]
indent-size = 2

Pipfileにショートカットを登録(i: 上書き, v: 実行時の詳細情報を表示, r: 再帰実行)

[scripts]
 :
fix = "autopep8 -ivr ."
 :

実行

$ pipenv run fix

備考:
Atomを利用している場合で、[atom-beautify]プラグインを入れている場合は、
autopep8と連動し、Ctrl + Option + bで自動整形してくれる。
また[atom-beautify]の設定画面でPythonを選ぶと、「保存時に自動整形」してくれるオプションがあるので
それにチェックを入れると、保存時に自動整形してくれるようになる。
※注意点としては、setup.cfgにインデントや無視するPEP8ルールの設定を書いていても、
それとは別にatom-beautify独自に別に設定を書く必要があること。

※ 追記 2019/04/04
pipenvのような仮想環境を使用し、atom-beautifyを使用している場合、
「Could not find 'autopep8'. The program may not be installed.」と表示される場合がある。
以下URL内のようなもの。
https://github.com/hhatto/autopep8/issues/363

この場合は、エラー内の説明にあるように
「Atom Beautify」 => 「Settings」 => 「Executable」=> 「autopep8」内に
仮想環境内のautopep8のパスを実行パスとして設定すれば良い。

仮想環境内のautopep8のパスの確認方法

$ pipenv run which autopep8

表示されたパスを、実行パスに設定すれば動作するようになる。






[参考]
Pythonのパッケージ周りのベストプラクティスを理解する - エムスリーテックブログ
Pythonのスタイルガイドとそれを守るための各種Lint・解析ツール5種まとめ! - Sider Blog
Pythonでインデントをスペース2つにした際の周辺ツールの設定 | タロスカイ公式ブログ
[Python] コードの自動整形でインデントレベルを2に設定する - Qiita
Python の Lint (文法チェッカ) まとめ - flake8 + hacking を使う - - Qiita
2018年のPythonプロジェクトのはじめかた - Qiita

【Python】Python初心者がMac上で環境構築をしてみる

homebrewが既に入っており、Python3環境を作成するのが前提。

新しい言語を使用するときに、自分がまず調べることは以下の2つ。

1)デバック方法の把握
2)グローバル環境を汚染せず「プロジェクト毎の環境(バージョン及びパッケージ)」が構築できるツールの使用法

1)については以下で書いたので、2)ついて今回はまとめる。
thoames.hatenadiary.jp

① Pythonバージョンを自由に変更して使用する方法

「pyenv」を使う方法が一般的みたい。
複数の異なるバージョンのPythonを利用したいときに使用する。
3.3.0と3.3.1といった細かいバージョンわけまで管理可能。
2系と3系との切り替えにも便利。

インストール

$ brew install pyenv

パスを通す

$ echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile
$ echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile
$ echo 'eval "$(pyenv init -)"' >> ~/.bash_profile
$ source ~/.bash_profile

バージョン確認

$ pyenv --version

インストール可能なバージョンを確認

$ pyenv install --list

現時点(2019/02/10)での最新の2系(2.7.15)と3系(3.7.2)の安定版バージョンをインストール

$ pyenv install 2.7.15
$ pyenv install 3.7.2

pyenvを通してインストールされたバージョンの確認

$ pyenv versions

※ちなみにアンインストールしたい場合は以下。簡単。

$ pyenv uninstall <version>

[変更前] 現在のPythonのバージョン確認

$ python -V

3.7.2をグローバル環境で使用する例

$ pyenv global 3.7.2

現在いるディレクトリ内だけで特定バージョンを使用したい場合は、globalではなくlocalコマンドを利用する。
localコマンドを利用すると、そのディレクトリ内にPythonバージョンが記載された.python-versionファイルが作成される。
またglobal及びlocalの両方が設定されている場合、localのPythonバージョンが優先される。
なので、まずは普段使いするバージョンをglobalで設定し、
プロジェクト毎にバージョン変更する場合は、localを使用するという使い方になる。

2.7.15をローカル(現在のディレクトリ内だけ)で使用する例

$ pyenv local 2.7.15

[変更後] 現在のPythonのバージョン確認

$ python -V

この時点で、pyenvで指定したバージョンに変更されていればOK。
変更されていない場合は、以下の記事を参照
pyenvのインストール、使い方、pythonのバージョン切り替えできない時の対処法 - Qiita

② [簡易版・小規模] Pythonパッケージをプロジェクトごとにインストール/使用する方法

Python2では「virtualenv」という仮想環境ツールを別途インストールし使用するが
Python3.3からはこのツールの機能が「venv」という名前で標準ライブラリに取り込まれたので
この記事では「venv」を使用する。

「project-hoge」という名前の仮想環境を作成する例
※ 「-m」オプションを使うと、インストールされているモジュールをスクリプトとして実行できる。

$ mkdir ~/Python/env
$ cd ~/Python/env
$ python -m venv project-hoge

※仮想環境作成時に、どの仮想環境内でどのPythonバージョンを使用するかを決めることができるので
pyenv localコマンドを使用する必要がないとのこと。詳細は以下の記事より。
Rubyist が pyenv を使うときに知っておいてほしいこと - Qiita


「project-hoge」仮想環境を有効化

$ cd ~/Python/env
$ source hoge/bin/activate

上記のコマンドを打つことで、仮想環境を有効化するとコマンドプロンプトの頭に仮想環境名が
入り、現在どの仮想環境内で作業しているのかがわかるようになる。
仮想環境有効化した状態で、パッケージなどを好きにインストールすると、インストールしたパッケージは
仮想環境内だけで適用されるため、他の仮想環境内からは見えなくなる。

「project-hoge」仮想環境を無効化

(project-hoge) ユーザ名$ deactivate

③ [中規模以上] Pythonパッケージをプロジェクトごとにインストール/使用する方法

簡単なパッケージをインストールするぐらいなら、②で紹介した方法でも良いが
パッケージが複雑に絡み合うようなプロジェクトを作成する場合などでは
「パッケージ管理」を滞りなく行ってくれるツールを使ったほうがよい。
記事を書いている時点で、「Pipenv」と「Poetry」というツールが候補に上がったが
以下の理由で最終的に「Pipenv」を使用することにした。

1)単純にGithubのスター数が圧倒的に、Pipenvが多かった
2)日本語情報がPipenvの方が多そうだった
3)PipenvからPoetryへの以降はそれほど難しそうではない

インストール

$ pip install pipenv

プロジェクトのディレクトリを作成し、初期ファイルを作成
サンプル用のflaskプロジェクトを作成

$ mkdir ~/Python/projects/flask
$ cd ~/Python/projects/flask

# 以下のようにしてしまうと、「~/.local/...」で仮想環境がまとめられてしまう。
# 自分の場合は、プロジェクトディレクトリ内に、仮想環境を作成してほしかったので
# 
# $ pipenv install

次に「pipenv install」を行って、初期ファイルの「Pipfile」と「Pipfile.lock」を作成するのだが
そのままコマンドを入力してしまうと、「~/.local/...」で仮想環境がまとめられてしまう。
自分の場合は、プロジェクトディレクトリ内に、仮想環境を作成してほしかったので
PIPENV_VENV_IN_PROJECTという環境変数を以下のように設定する。

またpipenvのコマンドを補完をサポートしてくれる「pipenv --completion」の設定も追加

パスを通す

$ echo 'export PIPENV_VENV_IN_PROJECT=true' >> ~/.bash_profile
$ echo 'eval "$(pipenv --completion)"' >> ~/.bash_profile
$ source ~/.bash_profile

初期ファイル作成

$ pipenv install  

上記のようにすることで、仮想環境は、プロジェクト内の「.venv」というディレクトリ内に作成される。

仮想環境を有効化

$ pipenv shell

仮想環境外から仮想環境内のコマンドを叩くときは以下のようにする。
仮想環境外からpythonコマンドを叩く例

$ pipenv run python

仮想環境内で「exit」コマンドを使用すれば、仮想環境から抜けられる。

次にflaskをインストール

$ pipenv install flask

flaskがインストールされていることを確認

$ pipenv shell
(flask) bash-x.x$ pip list

または

$ pipenv run pip list

app.pyを作成

# coding: utf-8

from flask import Flask
app = Flask(__name__)

@app.route('/')
def hello_world():
    return 'Hello World!'

@app.route('/ja')
def hello_world_ja():
    return 'こんにちは 世界!'

if __name__ == '__main__':
    app.run()

※ 初期状態だと、flaskの実行環境(Environment)が「production」になっているので
「WARNING: Do not use the development server in a production environment.」というエラーがでる。
このエラーを消すために、FLASK_ENV環境変数にdevelopmentを指定する。

$ echo 'export FLASK_ENV=development' >> ~/.bash_profile
$ source ~/.bash_profile

flaskを起動

$pipenv run python app.py

起動に成功したら、「http://127.0.0.1:5000/」にアクセスすることで
「Hello World!」が表示される。

備考

元々、Pythonを使おうと思ったのは単純に簡単なFlaskを使用したWebサービスを作ってみたかったから。
FlaskについているWebサーバはあくまでも開発用っぽいので、実際に大量のアクセスをさばくような
Webサービスを開発するとなると、ApacheなりNginxなりを使用する必要がありそう。

検索してみたら、いい感じのuwsgi + Nginx + flaskのdockerイメージが合ったので
本番環境を構築するときは、これを使ってみたい。
uwsgi-nginx-flask-dockerでFlaskを楽々Docker運用 - Qiita



[参考]
pyenvのインストール、使い方、pythonのバージョン切り替えできない時の対処法 - Qiita
pyenv を用いた Python3 インストール - Qiita
Python 仮想環境 | pyenv と vertualenv による Python の開発環境の構築
Pythonの環境管理ツール良し悪し - Zopfcode
Rubyist が pyenv を使うときに知っておいてほしいこと - Qiita
Python3 Pipenvの導入メモ - ikap
[Flask] Flaskの基本的な構成(を思い出す) | Today's Commit

【Python】デバック方法について

自分用メモ。

Rubyのbyebugみたいなやり方を探していたら、
以下の一行を入れれば良いだけ。

import pdb; pdb.set_trace()

でも長すぎる・・・

JetBrainsのPyCharmやVSCode入れれば、上記のコード入れなくても
ブレークポイントをエディタ上でつけられるので良さげ。

まずは無料のVSCodeで試してみたい。

[参考]
Pythonでデバッグしたい - Qiita

【WordPress】Wordmoveで、ローカルのDocker環境をProductionのDocker環境へpushする

以前の記事の続き。
thoames.hatenadiary.jp

以下がプロダクション環境のdocker-compose.ymlの設定。
本当は細かく各ミドルウェアのバージョンを指定したほうが良いが
今回は省略。

またこの記事ではWordMoveのmovefile.ymlの説明も省略する。

version: "3"
services:

  #################################
  #           WordPress           #
  #################################

  wordpress:
    image: wordpress:latest
    container_name: wordpress

    links:
      - dbms:mysql
    ports:
      - 8080:80
    restart: always
    env_file: .env
    volumes:
      - ./wordpress:/var/www/html



  #################################
  #              MySQL            #
  #################################

  dbms:
    image: mariadb
    ports:
      - 4306:3306
    container_name: mysql
    restart: always
    env_file: .env
    volumes:
      - ./mysql:/var/lib/mysql



  #################################
  #           PHPMyAdmin          #
  #################################

  phpmyadmin:
    image: phpmyadmin/phpmyadmin
    container_name: phpmyadmin
    env_file: .env
    links:
      - dbms
    ports:
      - 8090:80
    volumes:
      - ./phpmyadmin:/sessions

ポイントとしてはMySQLのポートをデフォルトの3306番を使用するのでハンク
4306番(任意)を使用しているところ。

この設定で、movefile.ymlの存在するディレクトリ上で「wordmove push -e production --all」すると
データベースのpush以外は同期でき、データベースのエラーとして

mysqldump: command not found (Wordmove::ShellCommandError)

と表示される。

原因としては、エラーそのままだが、Docker元のサーバにmysql-clientが存在しないため発生している。
本来はmysqlコンテナ内のmysqldumpコマンドを叩くべきだが、WordmoveではDocker元のサーバでmysqldumpコマンドを
叩いているため上記のエラーがでる。

aliasコマンドなどを使用して

alias mysqldump='docker exec CONTAINER /usr/bin/mysqldump'

のようにすれば、mysqlコンテナ内のmysqldumpを叩くことも可能だが、
そうすると、もしdocker-compose.yml内のvolumnsのパスと、movefile.ymlのwordpress_pathが違う場合
ディレクトリが見つからないというエラーがでる。

自分の場合は、あまりやりたくなかったが、Docker元サーバにもmysqldumpをするためだけの
mysql-clientをインストールした。

$ apt install mysql-client

自分の場合は、これで「wordmove push -e production -d」も通った。

Production Docker内での設定について

Production内のDocker環境内で、プラグインを更新するためには以下の設定が必要。

FTPを経由せずプラグインを更新するために必要

wp-config.php

define('FS_METHOD', 'direct');

by WordPress FTPなしでプラグインダウンロードできる設定 - Qiita

パーミッションの設定

plugins以下を

$ chown -R www-data:www-data /path/to/site

[参考]
Wordmove not friendly with dockerized production environments · Issue #421 · welaika/wordmove · GitHub

【Docker】docker-composeで立ち上げたphpmyadminコンテナのbashに入れない

phpmyadminコンテナ内で使用されているconfig.inc.phpの中身を見たかったので
以下のコマンドでphpmyadminのコンテナに入ろうとしたが入れなかった。

$ docker exec -it [container_id] /bin/bash

※ちなみにphpmyadminのイメージは公式の「phpmyadmin/phpmyadmin」を使用。

調べてみるとbashではなく、ashというシェルを使用すれば良いとのこと。

Can't enter phpmyadmin container · Issue #480 · laradock/laradock · GitHubを参考にして
以下のような感じコマンドを叩く。

$ docker exec -it [container_id] ash

これでコンテナに入れた。

【セキュリティ】Ubuntu上で、Auditを使用しファイル監視を行ってみた。

以下のサイトがすごくまとまっている。
第7章 システム監査 - Red Hat Customer Portal

Auditを使用することで、システム上のファイルやディレクトリの読込/書込情報を追跡し、監視ログを出力することができる。
またそれに付随するログ検索ツール(ausearch)とレポート出力ツール(aureport)を使用できる。

セキュアなシステムでは、このような原因究明につながる対策を行うことは非常に重要。

Audit以下のような用途で使用できる。

・ファイルアクセスの監視。ファイルやディレクトリがアクセス、修正、実行されたか、またファイル属性の変更も追跡可能
・システムコールの監視
・ユーザーが実行したコマンドの記録
・セキュリティイベントの記録(ex: 失敗したログイン試行)

インストール

$ sudo apt-get install auditd

設定

設定ファイルの場所は「/etc/audit/auditd.conf」
例)

#
# This file controls the configuration of the audit daemon
#

log_file = /var/log/audit/audit.log
log_format = RAW
log_group = root
priority_boost = 4
flush = INCREMENTAL
freq = 20
num_logs = 10
disp_qos = lossy
dispatcher = /sbin/audispd
name_format = NONE
##name = hostname
max_log_file = 30
max_log_file_action = ROTATE
space_left = 75
space_left_action = SYSLOG
action_mail_acct = root
admin_space_left = 50
admin_space_left_action = SUSPEND
disk_full_action = SUSPEND
disk_error_action = SUSPEND
##tcp_listen_port =
tcp_listen_queue = 5
tcp_max_per_addr = 1
##tcp_client_ports = 1024-65535
tcp_client_max_idle = 0
enable_krb5 = no
krb5_principal = auditd
##krb5_key_file = /etc/audit/audit.key

ルール定義

7.5. Audit ルールの定義 - Red Hat Customer Portal

ルール定義をすることで、どのイベントの記録をとるかを設定する。
ルール定義の方法はauditctlで動的に設定変更もできるが、
永続化するならルールファイルに記述する方が良い。

ルール定義ファイルの場所:「/etc/audit/audit.rules」

現在設定されているルールの確認

$ auditctl -l
No rules

初期設定時は何もルールが設定されていないので、No rulesとなる。

ルールの書式は以下。

-w path_to_file -p permissions -k key_name
  • w: 監視するファイルもしくはディレクトリを指定
  • p: 監視アクション許可 r – 読込, w – 書込, x – 実行, a – ファイル属性の変更.
  • k: ログ内でルールを識別するために割り当てる任意の文字列。監視ルールが提要されるとこの文字列がログ内に表示される。

設定例)/etc/passwd への書き込みアクセスと属性変更を passwd_changes というキーをログに記録する例
/etc/audit/audit.rules

-w /etc/passwd -p wa -k passwd_changes

設定後は、auditdの再起動

$ service auditd restart

再起動後、/etc/passwdファイルを編集すると、以下のようなログが/var/log/audit/audit.logが出力されていることがわかる。

type=CONFIG_CHANGE msg=audit(1479097266.018:224): auid=500 ses=2 op="updated_rules" path="/etc/passwd" key="passwd_changes" list=4 res=1
type=CONFIG_CHANGE msg=audit(1479097266.018:225): auid=500 ses=2 op="updated_rules" path="/etc/passwd" key="passwd_changes" list=4 res=1

設定例は「/usr/share/doc/auditd/examples」の場所にあるので参考にすると良いだろう。
自分の場合は、以下の4つの設定例があった。

・capp.rules.gz・・・Controlled Access Protection Profile (CAPP)
・lspp.rules.gz・・・Labeled Security Protection Profile (LSPP)
・nispom.rules.gz・・・NISPOM (National Industrial Security Program Operating Manual)
・stig.rules.gz・・・セキュリティ技術実装ガイド (STIG: Security Technical Implementation Guide)

ログ検索ツールの使い方

以下のサイトが詳しい。
7.7. Audit ログファイルの検索 - Red Hat Customer Portal