お疲れ様です。tkmです。
前回のブログでご報告したPetfinderコンペはノリと勢いで動画化しつつ参戦するという試みを行っていました。なんと幸運にも2位入賞も出来て、賞金入賞の過程を動画化できた貴重な感じになっているので、良ければご視聴下さい。全部でPart 11までありますが、多分2時間ぐらいで全部見れるはずです。
お疲れ様です。tkmです。
前回のブログでご報告したPetfinderコンペはノリと勢いで動画化しつつ参戦するという試みを行っていました。なんと幸運にも2位入賞も出来て、賞金入賞の過程を動画化できた貴重な感じになっているので、良ければご視聴下さい。全部でPart 11までありますが、多分2時間ぐらいで全部見れるはずです。
え?え。。。? pic.twitter.com/baNGbu0GAp
— Takami Sato (@tkm2261) 2022年1月14日
Petfinder2コンペの振り返り
— Takami Sato (@tkm2261) 2022年1月15日
* 一番の肝は過去コンペデータと紐づくデータがあることに気づくかどうか。
* 画像からの予測も依然として重要。SwinTが強かったけど他のViT系も効いた。重み一番は例のConvNeXt
* オーバーフィットしやすいので、予測値の分布に気をつかう。
「Kaggle入門&Petfinderコンペの参戦記」の動画をYoutubeに上げました!正直2位に至るライブ記録が残ってるのは貴重なのでは。初回は
— Takami Sato (@tkm2261) 2022年1月15日
・VOICEVOX導入
・公開カーネル確認
です。数日毎に順次続きを上げる予定。動画はコンペ中に作ってて、極力今から変な編集は入れない予定https://t.co/jaF3KS40Yc
お久しぶりですtkmです。今回は退職D進勢もOKとのことで社会人学生AdC '21の5日目として米国でのMS/PhDについて書いてみようと思います。
*私の詳細な留学模様については過去の記事をどうぞ
この記事に来た方々は、程度の差はあれD進に興味があるかと思います。ありますよね?
無責任に言うなら、D進を迷っている人はD進したほうが良いと思います。人類のほとんど全ての人はD進なんて考えもしない中、頭によぎるだけで十分素質があります。
博士は好きな時に進学できるので、社会人を経由して一番モチベがある時に社Dや退職Dするのは理に適っているはずです。
私もこっちで結構大変でしたが「じゃあ日本に戻ってまた働くか?」と自問すると「それはねぇな。」となって色々頑張ってこられました。
変に会社で働く事に希望や妄想を持たなくて良いのは、5年と長い米国PhDで気持ちを保っていくのにとても有用です。(逆に未経験で知らなかったからこそ頑張れたというケースもありますが。)
社会人を経由したおっさん(おばさん)がD進にあたって一番の懸念は経済的な問題かと思います。社Dは経済的な不安は少ないですが、一方フルタイムでさえ3年で終えるのが難しい博士号取得を二足の草鞋でやっていくのは相当な覚悟と犠牲が必要になります。さらに日本での博士号取得者の待遇を鑑みるに、これでD進を躊躇わない人は少数派でしょう。
そこで米国退職D進という選択が頭をよぎります。少なくとも私はよぎりました。簡単に当時思った利点を列挙すると、
などと、"もし"行けるなら上に挙げた諸問題は解決可能なように思えます。
これに加えて、個人的に日本での博士課程に思っていたのが、全体的に「博士課程では指導教員のテーマを離れて独自のテーマをすぐ見つけるべし」という気風が強すぎると当時感じていました。
もちろん独立した研究者を生み出すことは最終的なゴールですが、個人的には「博士号は顕著な研究成果を上げた証明ではなく、科学研究に必要な手続きを一貫して設計実施出来ることの証明である。」と思っており、教育可能な部分が大きいにも関わらず無責任な放置が容認されやすい風土に見えました。(別に学生に給料払っているわけじゃないですしね。)
そこで世界で一番の研究者を生み出すシステムを持つと言われる米国でPh.D.を取ってみようと進学しました。
「教育可能な部分は修士で学んでおくことだよねwww」という考えもありますが、これが理想論である事は周知の通りと思いますし、だからこそ米国のPhD課程は日本の修士+博士に相当する5年になっているのかと思います。これが修士 (2年) + 博士 (3年)になるか博士 (3年) + 助教 (2年) 相当になるかはその人の段階によるのだろうけど。
当然ながら、こんな想像ほど米国が美しいわけではないですし、教育部分は多分に指導教員に依存します。若干「研究の国アメリカ、その空気を吸うだけで僕は高く跳べると思っていたのかなぁ」状態だった感はあります。
ただし給料が払われてフル稼働コミットした博士が多数いる状況は、主著以外にも共著で関わって学べる場が多く、エコシステムがあるなぁという感じです。ラーメンハゲの名言ではないですが博士学生には給料が支払われるべきですね。日本に漂うアカデミックの先の見えない悲壮感みたいなのがないのはメンタルにも良いです。
さらに日本では研究室で発表して終わる小さい成果でも気軽に国際会議のワークショップレベルで発表して鍛えられる機会が多いのも教育に良いです。
日本にもこのレベルを実現する研究室があるのは知っていますが、私の知る一般的な研究室は研究へのコミット具合が不明瞭な学部修士学生が多く、頼みの博士も孤立しがちで給料払ってない分稼働も計算しづらいといった感じを受けます。これで質の高い研究・論文が減ってきているのも仕方ない気がします。
最近、教員が学務に忙殺されているという話をよく聞きますが、もしその教員の下にフルコミットした博士学生が2-3人いれば、しっかり論文は出せるかと思います。教員が多忙なのは世界共通ですし、これから博士進学が一般的になって給料も支払われるそんな未来を祈っています。
(学振とか、最近は奨学金も充実してきましたが、やはり”給料”という形をとってこそ博士学生の地位向上が実現すると思っています。)
これは自信を持ってやっていけると言えます。日本である程度優秀であれば米国でもある程度優秀かそれ以上に評価されるはずです。米国の数学教育はお粗末なもので、学部まで数学を日本で真面目にやっていればこちらでは超優秀なはずです。さらに米国Ph.D.は学部卒業から応募できるため、社会人経験があれば新卒レベルを圧倒する経験(プログラミング等)が(きっと)あるはずです。
近年のML/CV/NLP界隈の異常な盛り上がりで「トップ会議の論文数本ないと厳しい。」みたいな言説は、実際一部では正しいのですが、こういった選考は応募者がよりどりみどりの一流大学や有名研究室での話です。
そのため、”本来は学部生が応募できる”米国Ph.D.はしっかりリーチすれば合格することは可能だと思います。例えば、ラボ立ち上げ直後の若い助教はPh.D.終えたばかりで初めて自分のお金で学生を雇う、かつその学生がしっかり卒業してくれないと自分の評価に影響するという状況だったりするので、ある程度能力があって従順でハードワークを厭わない日本人にありがちなタイプは英語が多少アレでも十分なアピールポイントになるはずです。
米国Ph.D.は大体毎年12/15締切ですが、闇雲に出願しても超超優秀な場合や凄い推薦状が無い限り合格は出ないでしょう。MITやStanfordみたいな超一流大学は教授に応募というより最初にラボローテーションがあって所属を決めたりしますが、これは誰がどこに行ってもその教授を満足されられる基準に達する上位校に許された技で、普通の大学は教授が誰を取るかを判断します。(もちろん教授はその意思決定を委員会で承認される必要はあります。)
そのため基本的に12月中でほぼ決着はついており、それまでに各教授にどれだけリーチ出来るかという話になります。
ただこれが難しいのはよくわかります。私の出願時もこの重要性は頭で理解していても、いきなり教授に連絡を取るが怖く、日々の業務が忙しかったのもあり、闇雲に出願して結局修士経由ということになりました。
今過去の自分にアドバイスを送るとすれば、以前にツイートもしましたが、
海外PhDを考えてて具体的な行動指針がわからない方、今Twitterで"Ph.D. position"で検索して興味ある所に連絡しまくると良いよ。今の時期たくさん投稿があるで。日本で真面目にやって研究経験あれば英語アレでも従順でハードワークするならちゃんとアピールになる。TOEFL90ぐらいはあるといいけど。。
— Takami Sato (@tkm2261) 2021年10月28日
とにかく学生を探している教授にコンタクトを取りましょう。そもそも給料を出す以上、教授も年によって学生を取る取らないがあります。しっかり求人を出しているところにリーチしましょう。
理想的には夏前に連絡をとって夏にその研究室でインターンするのが理想ですが、今はコロナで無理ですし、逆に連絡が遅くてもチャンスがある可能性があるので、この記事が出るのが12/5ですが全然遅くないので応募大学の学生探している教授に片っ端から連絡しましょう。
一方、逆説的に超一流大学のPh.D.に行きたい場合は、そこの教授に特別な繋がりが無い限りはほぼ無理なので諦めましょう。そこへの推薦状を他の大学に使った方が有意義です。それでも行きたい場合は修士から潜り込みましょう。
教授にコンタクトを取れても話が出来なければ意味がありません。米国では英語ノンネイティブの教授も多く(特にCS)、流暢な英語は求められない場合が多いです。ただしノンネイティブがゆえに教授も許容できるレベルもわかっており最低限は話せる必要があります。これはそこまで大層なものではなく、日本の英文法教育はしっかりしているので、落ち着いてゆっくり文法を守って話せば必ず通じます。
しかし一応目安的にはTOEFL iBTが100点でSpeakingが23点ぐらいは欲しいと言うのが実情のようです。私は91点でぶっこみましたが、100点持っていた方々は多くの合格(修士含む)をもらっていました。
私がPh.D.に編入するときは指導教員から「お前の英語スコアが低いから、4月ぐらいに委員会が疲れてきたタイミングでこっそり通す。」といわれました。こんな感じでPh.D.は英語のスコアが低くても若干融通が効きますが、逆に言うと特別な事情(当時私は研究結果が出始めていた。)が無い限りは、このぐらいのスコアは欲しいところです。
詳細な情報は中国の一亩三分地に出願者のTOEFL平均が乗っているので見てみると良いです。
https://www.1point3acres.com/bbs/offer
正直な話、英語力を日本で独力で身につけて厳しいものがあります。その場合Ph.D.だけでなく修士出願も考えるとよいです。修士での優秀なGPAを取れば後のPh.D.出願でも評価され、修士の授業は移管できるので時間の無駄にもならないですし、大体の大学で米国の修士があれば英語試験免除だったりします。(ただし年間400万円ぐらいは覚悟する。)
もし漠然と米国留学を考えている人がいれば、とりあえずTOEICの代わりにTOEFLを定期的に受験すると良いです。TOEFLの点があればいざ行きたくなった時に役立ちます。
ここまで退職米国PhD進を勧めるようなことを書きましたが、そこまでの道のりは結構根性が必要です。私が受験前に話を伺った人も「結局応募まで行き着いた人は殆どいない。」と言われました。
仕事をしながらの受験準備はかなりメンタルを消費します。TOEFLやGREの準備も大変ですが、一番キツイのは受かったら仕事をやめるけど周りに相談しづらいというのがあります。
普通に全落ちもありえる世界なので、その場合何事もなく仕事を続けたいので大っぴらに相談しづらい中、受かった場合に備えて長期の案件を抱え込まないようにするなど、神経を削る状態が続きます。そんな状態では生産性が上がるわけもなく、それがまたメンタルに影響するという悪循環です。
今の状態で過去に戻れるなら、早い時期から教授と連絡とって何処かは受かりそうといった状態にしたり(or見込みがないので早期に見切りをつける等)スマートに事を進められるはずです。後に続く人々には、私みたいな無駄な事をせず、どんどん先人の知恵を活かしてスマートに出願して貰える事を祈っています。
なにか質問あればTwitterのTakami Sato (@tkm2261) | TwitterにDM下さい。とりあえずよくありそうな質問をおいておきます。
Google Cloud ML Summitで「Kaggler のための BigQuery 活用手法」話して来ました!スライドは下記から見れます。動画もサイトからすぐ見れるようになるはず。よければ是非!#GoogleCloudSummit #gc_MLhttps://t.co/JN41M0qxYu
— Takami Sato (@tkm2261) 2021年11月11日
Chaiiの順位確定して無事GMになっていた。 pic.twitter.com/7iD40KTm0f
— Takami Sato (@tkm2261) 2021年11月22日
Kaggle Chaiiコンペの2位解法を投稿しました。キーポイントは大体3つあって、
— Takami Sato (@tkm2261) 2021年11月16日
* TyDi QAに含まれる他のインドの言語を入れる(Bengali and Telugu)
* アンサンブル(XLM-R, Rembert, InfoXLM, MuRIL)
* デーヴァナーガリー数字 (०१२३४५६७८९)の後処理https://t.co/lb4aIf96rm
明日からのセキュリティ4大会議の一つUsenix Securityで、筆頭著者の論文を発表してきます!
— Takami Sato (@tkm2261) 2021年8月11日
『Adversarial Attackで自動運転騙せんじゃね?』をガチでやって”実製品”に攻撃を成功させてます。みんなAdversarial Attckが実世界で重要って言いたいとき一杯引用してください!https://t.co/UIcq1S79C9 pic.twitter.com/JYzljMkpcs
お久しぶりです。
一応ブログにはなんかイベントが起きたら書いて置くことにしているんですが、
米国生活も落ち着いてきて更新が滞ってました。
今回はKaggle ShopeeコンペでLyakaapさんと組んで2位入れたのでそのご報告です。
lyakaapさんと組んで参加していたShopeeコンペ、最終順位2位でフィニッシュでした!100万円ゲットだぜ!
— Takami Sato (@tkm2261) 2021年5月11日
上位陣の解法はこちらのライブで解説があったので是非どうぞ。https://t.co/3Ew8mySNmX pic.twitter.com/uj8DMdNtgj
解法解説はYoutube Liveで行ったので良ければ合わせてご覧ください。