すえー blog

学んだ情報をOutPutする場所です。

マンガでわかる統計学メモ①

はじめに

今、以下を勉強中なのでついでにメモをブログに残そうと思ってます。

マンガでわかる統計学

マンガでわかる統計学

1章

  • カテゴリーデータ
    • 測れないデータ
      • 例:出身県、天気
  • 数量データ
    • 測れるデータ
      • 例:体重、身長

2章

  •  相対度数 = \frac{各階級に属するデータの個数}{全てのデータの個数}
  • 階級値
    • ある数値の範囲を区切った値を指す
  •  不偏標準偏差 = \frac{(個々のデータ - 平均)^{2}を足したもの}{データの個数}
  •  標本標準偏差 = \frac{(個々のデータ - 平均)^{2}を足したもの}{データの個数 - 1}
    • 最小値が「0」でありデータの「散らばりの程度」が大きいほど大きな値になる。

3章

  • 単純集計表
    • カテゴリーデータを表にした状態のこと。

4章

  •  \frac{(個々のデータ)-(平均)}{標準偏差} = 基準値
    • データの価値を検討しやすくするデータ変換。
    • どのような単位の変数であろうともその基準値の平均は必ず「0」、標準偏差は必ず「1」である。
  •  偏差値 = 基準値 × 10 + 50
    • どのような単位の変数であろうともその偏差値の平均は必ず「50」、標準偏差は必ず「10」である。

最後に

やっぱり読むだけではなくてこうやってoutputした方がより理解が深まる気がする。。。
残りは次回書こう!

Matplotlibの日本語表示で少しハマったのでメモ

はじめに

今、この本を勉強していてタイトルの通り少しハマったのでメモしておきます。

PythonユーザのためのJupyter[実践]入門

PythonユーザのためのJupyter[実践]入門

環境

前提条件

  • 「Source Han Code JP」のフォントはインストール済みです。
    ※以下からダウンロードしてます。フォント自体のインストールはotfのファイルをダブルクリックするだけでOK。 github.com

ハマったこと

本では以下の3つのパターンで日本語表示ができると記載されていました。
①コード内で「FontProperties」のインスタンスを生成して設定。
②「rcParams」を使用して一括で設定。
③「matplotlibrc」の設定ファイルに対して設定。

上記の③の際に設定ファイルの中身を修正して、「fontList.py3k.cache」ファイルを削除してjupyterのカーネルを再起動したが日本語化しないという現象。。。

こんな感じで↓ f:id:kaneshirok:20171128173704p:plain

設定ファイルの読み込み優先順は以下のようになっている。
①現在のワーキングディレクトリにあるmatplotlibrc
②$MATPLOTLIBRC/matplotlibrc
③$HOME/.config/matplotlib/matplotlibrc、または$XDG_CONFIG_HOME/matplotlib/matplotlibrc、または.matplotlib/matplotlibrc(OSや環境により異なる)
④matplotlibパッケージがインストールされたディレクトリのmpl-data/matplotlibrc

で、自分は①の対応したが、なぜが上手く行かない。。。

解決策

まさかとは思い、最後に行うjupyterのカーネルを再起動ではなく、jupyter自体を再起動したらまさかの解決。。。
しかも、よく見たら本に「jupyterの再起動」または「カーネルの再起動」でも大丈夫と書いてあった。。。
設定ファイルを追いかけていた時間が。。。
これを教訓にします。。。

まとめ

今回の手順をまとめておきます。
①「matplotlibrc」のファイルをワーキングディレクトリにコピー

import shutil
from matplotlib import matplotlib_fname

# 設定ファイルをコピー
shutil.copyfile(matplotlib_fname(), 'matplotlibrc')

②ワーキングディレクトリにコピーされた「matplotlibrc」の設定ファイルをエディタかなんかで編集をする。
編集する箇所は「208行目」付近の「#font.sans-serif」の行をコメントアウトを除去して、「DejaVu Sans」の前に「Source Han Code JP」を追加する。

③そして、「fontList.py3k.cache」ファイルを削除する

cd ~/.matplotlib/
rm -f fontList.py3k.cache

④最後にjupyter自体を再起動←※ここ重要

あとはこんな感じで表示される。 f:id:kaneshirok:20171128171932p:plain

あー久々にブログ書いた。 頑張ります。。。

GCPUG in Okinawa! #4 - GCPUG春の機械学習祭り -に参加しました。

今回のGCPUGは機械学習にフォーカスした内容でした。
初参加だったのですがGoogle Cloud Platformについてとても興味が湧く良いイベントでした。

イベント内容

イベントについては以下のような流れで行われました。

  1. 「挨拶、GCPUGとは?」
  2. GCP機械学習を知ろう!」
  3. 「BigQuery and Cloud Machine Learning」
  4. 「だれもがつかえる機械学習
  5. 「Lightning Talk!!!」

「挨拶、GCPUGとは?」

まず最初に「株式会社PIALab. 取締役 須藤 大治郎」さんより、このイベントの説明がありました。 とても明るい方だったのですが、痛風っぽい症状に悩まされていたので心配になりましたw

GCP機械学習を知ろう!」

次は「株式会社トップゲート @sfujiwara」さんのセッションでした。 GCPのサービスの内容をわかりやすい図になっていたのでスッと頭に入る感じでとても良かったです。

docs.google.com

上記のスライドでやっぱり気になったのはコアな部分のサービスであるTensorFlowが個人的には気になっています。
なぜかというと機械学習アルゴリズムを自分でゴリゴリ書けた時の達成感がやばそうだからです。w
まだ使用してはいないのですが、Cloud ML Engineを使用すればマシンの心配はないのでこれから使用できればと考えています。
一旦はpythonで軽く触ります!!
あと、Google Photoが写真をカテゴライズしてくれるなんて知らなかったww

「BigQuery and Cloud Machine Learning」

次は「グーグル株式会社 クラウドプラットフォーム デベロッパー アドボケイト 佐藤 一憲」さんのセッションでした。

BigQueryの実際の速度を計る為のデモをして頂いたのですが、早かったです!
何百万行のレコードに対して、レコードを絞らずとも何十秒で取得できていたので感動しました!
特に印象的だったのが「クソクエリーを流しても大丈夫!w」でしたw
これを聞いた時にこのスピードならクソクエリーOKだと共感しましたw
あとはTensorFlowを処理する為のTPUです。
GPUよりも何十倍の速度があるし、グーグルはハードウェアにも力を入れていて凄いな。。と感心するしかありませんでした。

以下が資料のリンクとなります。

github.com

「だれもがつかえる機械学習

次は「株式会社グルーヴノーツ 代表取締役社長 最首英裕」さんのセッションでした。

最首さんの会社のサービスに「MAGELLAN BLOCKS」があって、
特に何が良いかというとフロー図形式で簡単に機械学習の処理が記載できる点です。
また、GCPとの連携も簡単にできるそうなので、エンジニアじゃなくても機械学習が行えてしまう事に驚きました。
現在、1ヶ月は無料で使えるそうです!!
セッションの中で最首さんの会社ではデータの分析を行なっているそうなのですが、分析の中で特に重要なのが因子と呼ばれるもので、
因子をしっかりと判断して分析を行うと精度の良い結果が得られるというのはすごく勉強になりました。

■「MAGELLAN BLOCKS」
www.magellanic-clouds.com

「Lightning Talk!!!」

ここのセッションについては記憶が。。。w
メモもしていなかったのですいません。。。w
覚えている範囲で書きます!!

なかむらさとるさん(ハングアウトで参加!)

ハングアウトでの参加でしたが、まずはお酒が美味しそうでした。w
内容については「Google Data Studio」を使用して、簡単にBigQueryにデータを取り込めるし、データの追加や修正もGUIでさくさくっと行えるらしく、凄いという印象が強かったです!
現在はベータ版らしいです。
https://datastudio.google.com/u/0/org//navigation/reporting

@shirutaさん

「Cloud Video Intelligence API」という動画内に写っているものを解析するというAPIの使ってみた感想を発表していただきました。
まだベータ版らしいのですが、結構触ったいるような印象を受けたので凄いなと感じました!

docs.google.com

こーだいくん@あじとや(スープカレー)常連

「Cloud ML Engine」を使用した、機械学習の内容だったと思います。。。w
あじとやの印象が強すぎて内容を忘れてしまいました。w
しかし、簡単に触れますよ!っと言っていたので触ってみたいなと感じました。

西さん@PIALab.

GCPのイベントだったのですが、あえて「AWS」と「Microsoft Azure」の話をしていたのがかなり印象的でした。w
しかし、やはりsaas系のサービスはお互いに良いところがあるなーと改めて感じました。
あとは会社で何使ってるとかにもよるなーと。
新しいサービスに移行するのはそれなり体力いるはずなのでw

最後に

今回、初めてGCPUGのイベントに参加したのですが、新しい技術に触れる事や知ることもできたのでよかったです。
セッションをしていただいた皆様、運営の皆様ありがとうございます!!
そして7月の以下のイベントも参加しますのでよろしくお願いします!!

okipug.connpass.com

退職しました。

タイトルにもある通り、3月末で退職しました。

退職理由

  • 給与面
  • 目標とする先輩がどんどん退職していったこと
  • 働きがい
  • エンドユーザーと近い距離で仕事をしたかった
  • 新しい技術を積極的に取り入れている企業への憧れがあった

退職を決めた出来事

私は3月時点でIT業界歴が4年を迎えました。
その中で勉強会に参加したり、自分自身で情報収集していると、
転職は当たり前のことなんだということ、
一番はどなたかのブログを拝見させていただいた時に現在の会社に以下の3つの内、2つ以上良いと感じていない場合は転職を考えるべきだという内容を見た事です。

  1. 「人」
  2. 「お金」
  3. 「働きがい」

上記の中で私は「人」以外に良いと思っていませんでした。
なので退職を決心したといっても過言ではありません。

退職までに学んだ事

  • 情報収集の大切さを教えてくれた先輩に出会えた事
    →自分の視野がかなり広がりました。
  • リーダーをさせてもらった事
    →かなり大変でしたが、人は本当に十人十色なのでその人にあったコミュニケーションをする事がすごく大事だと感じました。
  • 資格をたくさん取れた事
    →少なからず技術力が向上したと感じています。

現在の状況

4月より新しい会社でスマートフォンアプリの開発者としてjoinしました。
現時点ではとても充実しています。
これからはエンジニアとして技術力を向上させていけるように、継続して情報収集や勉強会への参加を続けていこうと考えています。

「PyData.Okinawa Meetup #23 - LT大会&もくもく会」に参加しました。

最初に

今日は参加させて頂きありがとうございました!
そして運営の方々とLTをした方々お疲れ様でした!
かなり勉強になりました(TT)
今回からは勉強会に参加した後はなるべくブログを書こうと考えているので早速書きます!

参加理由

  • 最近、機械学習や深層学習などをするにはpythonが良いと聞いていたので今後のキャリアの為に勉強していて損はないなと考えている為です。
  • 友人のアイパー隊長がLTをするからです。 笑
  • コミュニティを広げて様々な人から知見を得たい為です。

内容

  1. PyData.Okinawaについて
  2. 中西さん LT
  3. 許田さん LT
  4. アイパー隊長 LT
  5. Chenさん LT
    ※すいません。名前をメモするの忘れていました。。Twitterから拝借致しました。
  6. 立花さん LT

上記の内容で行われました。
自己紹介と最後の感想については省きました!!
以下に1つずつ所感を記載していきたいと思います。
※自分のメモと記憶を元に記載するので間違いがあったらすいません。。。m( _ _ )m

PyData.Okinawaについて

実際にどんな活動を行なっているかの説明をしてもらいました。
とにかくpythonとデータに興味がある人であれば参加OK
極めつけは誰でも参加OKという気軽に参加させてもらえる感じは凄く嬉しかったです!!

中西さん LT

「OpenAI univers-starter-agent」を使用してゲームのレベルアップの自動化を行うという内容でした。
実際にピンポンゲームでコンピューターのレベルアップするのを見せて頂いたのですが、凄かったです!
ほんとにゲームのレベルアップ自動化が夢でない事を知れました!
最後のムギ君?が可愛かったです!!笑

許田さん LT

pythonのライブラリを呼び出す際にフォルダ違いで同じライブラリを持っている場合はどのような順番かつどの優先度でライブラリが呼び出されているのかなどの内容だったと思います。。。
※このタイミングで仮想環境のubuntuが壊れるとハプニングによりパニクってあまり聞くことが出来ませんでした。笑
申し訳ないです。(TT)
しかし、何となく動くのはなぜ?という調べる姿勢やDockerの良さも勉強出来たので良かったです!!

アイパー隊長 LT

画像ファイルが「コジラ」or「not ゴジラ」を判定するまでの模様を見せて頂きました。 学習データをseleniumを使用してスクショで集めるところや実際に判定するモデルの作成などの最初から最後まで見れた気がして分かりやすかったです!
その他にも作業中の問題発生から解決までの流れも良かったです!
何歩も先を行っている気がして負けたくないとモチベアップに繋がった!笑
LTお疲れ様!ありがとう!!

Chenさん LT

沖電で公開されている電力のオープンデータを使用しての未来の電力の使用量を予測するという内容でした。
その中で電力の使用量を過去分を学習データとして使用してよくわからんアルゴリズム?で次元圧縮?をして精度を高めるという流れまでは何となく分かったつもりです。笑
後は電気ネタ?を多くやっている方なのかな?と思いました!笑

立花さん LT

Rubyからpythonモジュールを呼び出すことが出来るPyCallについての内容でした。
Rubyには機械学習などのライブラリがそもそも少ないという点を補うためにPyCallが作成されたそうです。
これを組み合わせる事によってWebと機械学習などのライブラリが多いpythonとの融合により新たなサービスなどが生み出せそうな凄く可能性を感じるライブラリだと感じました!!
そして個人的にはタイピングの速度が速すぎて「おー」ってなってました。笑

最後に

今回もくもく会は時間の都合上ありませんでした。笑
しかし、それ以上にLTの内容が濃い内容で勉強になりました!!
そして、皆さん楽しそうに発表していましたし、何より会場の雰囲気が良かったです(^^)
やはり、勉強会に行くたんびにモチベーションが上がります!
改めてではありますが、今日はありがとうございました!!
また宜しくお願いします!!
いつかLTをしたいと考えているのと参加するだけを目的にしないようにします!笑

ブログ再開

なぜ再開か?

はてなIDを変更しようとしたところ、ブクマのデータのみエクスポートしてしまい、肝心のブログのデータを抜き取るの忘れていました。。。。

まあ、そんなに書いてないし、落ち込んでも仕方ないので切り替えます!!

せっかく再開したのでついでに今年の目標まで書きます!

今年の目標

  • ブログを1ヶ月に1は書く
    ※頑張って月2は書きたい。。。

  • pythonの勉強
    ※野球関連でデータの解析とかしてみたい。。。と考えています。

このタイミング(3月)での目標設定について

  • 有給消化中なのとこれから新しい仕事に向けての気持ちを一新する為

  • 最近、OutPutの重要さに改めて気付かされた為

最後に

後で退職するまでの感じたことや学んだことをまとめようと考えています。

継続は力なり。