tkm2261's blog

研究員(OR屋) → データ分析官 → MLエンジニア → ニートがデータ分析諸々書いてます

Python

Githubを整備した

Kaggleの汚いコードばっかなので、Bitbucketのコードを公開するのを躊躇ってたが、 このご時世githubにコードが上がっていないのもリスクなので諸々上げました Kaggleコンペがプライベートシェア禁止のため普段bitbucketに上げてるんですが、githubが寂しい…

細かすぎて伝わらないLightGBM活用法 (callback関数)

皆様tkm2261です。この頃連投が続いてますが、 最近まで参加していたInstacart Market Basket Analysis | Kaggleで色々やったので残しておこうと思います。 このcallback関数は便利ですが、Kaggleなどでヘビーに使う人以外ここまでしないと思うので活躍する…

道具としてのCython

皆様tkm2261です。今日は道具としてのCythonと題して、 使うことに特化してCythonの解説をしたいと思います。 きっかけはKaggle Cythonを使うとき FaronさんのF1最適化 DP (Dynamic Programming)を含んだ実装はCythonの出番 使い方 その1 『Cython実装』 フ…

PythonでCSVを高速&省メモリに読みたい

今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGIL…

LightGBMをGPUで速度検証

LightGBMとは Microsoftが公開しているGradient Boosting Decision Tree(GBDT)の実装です。 github.com GBDTの実装で一番有名なのはxgboostですが、LightGBMは2016年末に登場してPython対応から一気に普及し始め、 最近のKaggleコンペではxgboostよりも、W…

遺伝的アルゴリズムでAA自動生成

皆さまこんちにちは 今回は遺伝的アルゴリズム(GA)でAA自動生成してみたので、コードと資料を共有 コードは以下に公開しています。 anaguma2261/ga_aa_optimizegithub.com 今回のお題 左の画像を、右のようなAAにするのが今回のお題。右は2chのAA職人さん…

Python高速化 Numba入門 その5

今回はGPUの数値実験についての記事です。 計算環境 OS: Windows 7 64bit CPU: Intel Core i7-4771 CPU @ 3.50GHz GPU: NVIDIA GeForce GTX 650 MEM: 32GB 我が家の計算マシンです。 これをWindowsで構成しているのは、もったいない気がしていますが、 Linux…

Python高速化 Numba入門 その4

今回はNumbaのGPUコンピューティングについて読んでいきます。 最終回の予定でしたが、エントリが超長くなりそうなので今回はGPUの使用方法、次回に計算速度の検証をして終わりたいと思います。 Writing CUDA-Python — numba 0.15.1 documentation expriment…

Python高速化 Numba入門 その3

今回もNumbaのドキュメントを読んで行きます。 Numba — numba 0.15.1 documentation と思ったんですが、読み進めて行くと以外に紹介する内容が少ないことに気づきました。 シンプルなのは良いことなので、今回はUFuncを紹介して、 次回にGPUについて紹介して…

Python高速化 Numba入門 その2

今回は、QuickStartを読んでいきます。 Quick Start — numba 0.15.1 documentation とりあえず、前回の@jitデコレータだけで動くのは理解した。 from numba import jit @jit def sum(x, y): return x + y 引数と戻り値の型が陽にわかっている場合には、@jit…

Python高速化 Numba入門 その1

みなさん、こんにちは 今日からPython高速化 Numbaに入門したいと思います。 入門資料を探しに来た皆様すみませんが、 本記事は私がこれから入門する内容になります。 結果として入門資料に慣れば幸いですが、過度な期待は御無用でお願いします。 基本的には…

最適化超入門

SlideShareだけでなく、ブログの記事にもすることに 先日、TokyoWebMning #40にて最適化について熱く語ってきました。 最適化超入門 from tkm2261 個人的にも結構やりきった感があり、網羅的に最適化手法を紹介出来たと思います。 その後飲んだ研究室の同期…