読者です 読者をやめる 読者になる 読者になる

たかきろぐ

「自動運転」「情報系大学」「雑記」をだらだらと書いています

MENU

pandas-APIマラソン始めました

まじめ まじめ-エンジニアリング まじめ-エンジニアリング-プログラムTIP

最近業務でpythonをいじっているのだけど,優秀なパッケージが多い.

中でもpandas, matplotlib, numpy なんかは便利なんだと思う.(機会学習系のことをやりたいならscikit-learn.DNNを試したいならtheano, Kerasなんかがあるし.)

「なんだと思う」っていうのは,使い慣れていないから,それを調べたりするのに時間がかかる.pandasなんかはリレーショナルモデルのデータに対する操作を簡単に行えるのだけど,SQLほど直感的には書けない.

というわけで,これらのパッケージの使い方をさらってしまおうかと思っている.

まずはpandasから,pandasのAPIリファレンスって舌ったらずでわかりにくいんだよね.だから,やることは単純で,pandas.DataFrame型のattributeとmethod全てに関して一度サンプルコードを書き,備忘録として残しておく.要点なんかをまとめたブログはたくさんあるけど,網羅的にやってる人いないみたいだし.

APIは総数159個.今9個目を書き終わった.2ヶ月以内には完走したい.

「pandas-APIマラソン」でググってみてね.

Qiitaを始める

まじめ まじめ-エンジニアリング

ブログを書かなくなって早半年程度,自分のアウトプットが足りていない事に気がつく.アウトプットが少ないと,なんか自信が低下する.

そこを補うために,エンジニアとしてのチップスを書き溜めて,なるべくアウトプットを増やそうと思う.

 

話は変わるが,昨今,人口知能(機械学習)を適用する分野が後を立たない.ワトソンが医学論文を読み込み込んで患者の症例を当てたニュースは有名だし,自動走行がセンサで周囲を認識する際にも漏れずに利用されている.AlphaGOによる人間×人口知能の対戦も記憶に新しい.

 

技術者として私も,人口知能技術に手を出しているのだけど,利用するのに手間取る.

手間取る原因は大きく以下4つで,

  1. 利用する前の問題設定をはっきりさせる必要がある
  2. 問題設定を決めた際,人口知能の学習用データセットを準備する必要がある
  3. データセット(が発生したモデル)の複雑さ,手元のデータ量に応じた人口知能の種類を選択する必要がある
  4. 利用する人口知能のAPIの引数の使い方がよくわからない

1〜4の順序は実際に人口知能を利用する際に必要な順番(のつもり)で記述した.これから述べることは順番が前後するが,最後に私が着目したい点を述べる為なので気にしない.

まず3は理論的な,学習するモデルに対する知識が必要である.例えば線形回帰は,学習対象のデータが持つ誤差は正規分布を仮定している.自分の手元のデータが,仮定に合うかどうかを想像する力と,モデルに対する知識が必要で,それらを一致させることが肝要.(まぁ,いわゆる深層学習:ニューラルネットで構築するモデルはアーキテクチャの複雑さでいかなる表現も可能なので,それでやってしまえばいいのかもしれないけれど.データ量とアーキテクチャ設計に妙が出るが...)

4に関しては,パラメータが多い場合困る.全てのモデルを理論的に理解していれば良いのかもしれないけれど,なかなか難しい.例えば,単純な線形分離を行うSVMだけを理解している場合,ソフトマージンやカーネル関数の存在を知らない.この状態でSVMを利用しようとすると,それらの指定が何を意味するのかわからない.(基本,指定しなければデフォルトで動くが,ちゃんと性能を出したい場合,気持ち悪いだろう)

1と2はほぼ同義.帰納的にデータフィッテングをするだけであれば,問題設定が決まると,必要なデータセットは決まるはずである.しかし,ここにかなり重要な点がある.

2番で言う,データセットは自分の求める形でない場合がほとんどだし,異常値処理などが必要になる.「マエショリスト」という言葉もあるそうだ.

つまり,各種パッケージで提供されているデータを利用した機械学習の利用はバカでも(あるていど)できるが,その前段階の1,2を素早く実行できることが重要なのだ.

 

というわけで2を素早く行うために,最近行き着いていることに関してこれからQiitaでまとめていきたいと思う.

 

あんまり頑張らない程度に,これから記事を書いていく.

 

あと,ブログの方もなんとか復帰していく.

大阪で暮らすなら天満市場で買い物

まじめ まじめ-その他 まじめ-コラム


大阪に越してきて約3週間.街としてはこちらの方が水が合うと感じているのだが、会社の寮を出ていくつか不便になったことがある.
そのうちの一つがご飯だ.

寮ではご飯が出ていた.帰ってすぐに料理があるのは幸せである.しかし新居では一人暮らし、当然ご飯は出ない.

料理をするには買い物しなきゃいかんのだが、今住んでいる駅の圏内にはお買い得なところがないってことで、割と近場の市場まで足を伸ばしてみた.

大阪は天満の市場である.

f:id:KennyT:20160423165536j:image

市場といってもセリを行うのでなく、普通の鮮魚店・肉屋・総合スーパーがごちゃ混ぜになった建物である.


そして結論から言うと、安すぎて鼻血でた.

まずはこれを見て欲しい

f:id:KennyT:20160423164652j:image

  • ニラ3束 108円
  • エノキ3束108円
  • 玉ねぎ1ネット136円
  • 明太子130g 200円
  • 鶏胸肉2kg 864円
これで、1416円.全て税込価格である.

特に安さが際立つ鶏肉はもちろん国産f:id:KennyT:20160423164948j:image

鹿児島はさつまで育った 香潤どり である.

良質のたんぱく質をたくさん摂ることで、大胸筋も喜ぶ.

とにかく色々安いのだが、その他に珍しい物もお目にかかれる.

安い、珍しいの一例を紹介する.

f:id:KennyT:20160423165217j:image

立派なトラフグが2500円.(やすいのかな?)

f:id:KennyT:20160423165253j:image

1パック199円のイチゴ.安い、ビタミン.

f:id:KennyT:20160423165355j:image

大き目マロニー.お鍋の必需品.

f:id:KennyT:20160423165413j:image

はちのす(牛の胃袋).ワエはこの部位が結構好き.


f:id:KennyT:20160423165932j:image

マグロの頬肉.今日は買わなかった.

f:id:KennyT:20160423170002j:imagef:id:KennyT:20160423170002j:image

立派なタケノコ.八百屋さんによると来週には店頭から姿を消し始めるらしい.季節物.

f:id:KennyT:20160423170117j:image

ブラジル産にすると鶏肉は2キロ700円を切る.ちょっと怪しい.



今は観光スポットになりつつあるのか観光客も多く訪れていたみたいである.

天満は、大阪の中でも古くから商売をやっている人が多く、商店街や天井の低い路地に飲食店がたくさん並んでいる.

台湾なんかの雰囲気に近くて観光向きかもしれない.

、、、台湾行ったことねーけど.


何はともあれ、楽しいし安い.

大阪のキタで食料買うなら天満の市場.

4年間Yesマンをやってみた,これからは2秒で決める

どーでもよい

引っ越しをして,新しくやっていることがある.

 

続きを読む

自動運転向けの衛星測位に関する評価(SIP)

まじめ まじめ-自動運転

気がついたら10日以上更新していなかった.転勤,引き継ぎ,引っ越しなどなどが目白押しで記事を書くのが億劫になっている...

こりゃあいかんと,あまり中身はないけど記事を書く.

f:id:KennyT:20160411211738p:plain

続きを読む

ブログを多くの人にみてもらうには

まじめ まじめ-その他 まじめ-コラム

hitode99さん,ブログ書いてたらライターとして認めれもらえたってことだよね.

すげーな.ってとこから今日は始まります.

 

f:id:KennyT:20160324234236p:plain

続きを読む