kaggleの画像処理コンペで絶対使うalbumentationsライブラリーの利用方法！ポートレートモデルさんの画像で解説します
またまた、kaggle(AIコンペ)で画像処理系のコンペを戦っているんだ。 コンペでは、画像の拡張(サイズを変えたり、加工したり)が必要で、それがないと上位に行けないんだ。なんかいい方法ない？ 今回は、優勝者も使うalbumentationsライブラリーの使い方を解説しますね。 albumentationsをインストールする まずは、albu […]
CATEGORY
プログラミング
AIプログラミングスクール卒業生の初心者がkaggle Expertになるまでの軌跡(riiidコンペ体験記)
riiidコンペお疲れ様でした!! riiidコンペで銅メダルが確定して、やっとkaggleエキスパートに昇格することができました。これまでにゲットしたメダルは、以下の通りです。 銀メダル(ソロ)1つ 銅メダル(ソロ)１つ このブログでは、どのようにすればkaggle Expertにたどり着けるのか、体験を元に書いていきます！ riiidコンペの詳細は、以下にまとめたので詳しいことは […]
pandasは遅い！大量データの高速化、最適化のノウハウを公開！
pandasは、条件を指定してデータを取り出したりするのに便利なライブラリです。 しかし、kaggleのコンペのように1億レコード(行)もある大量データだと、メモリ不足に陥ったり、処理速度が遅くなることがあります。 pandasの高速化について記事化したいと思います！ メモリ容量の最適化 pandasにread_csvだけでデータを読み込むだけでは、無駄な領域まで使ってしまい、すぐに […]
【体験談】SESのテスト案件でエンジニア開発スキルを身に付けた裏技を公開します
質問者 SES会社に入社後、テスト案件に携わっているんだけど、つまらないテストばかり。 このままだと、開発の経験ができずに、スキルも身につかないから不安だ。 質問者 プログラミングスクールに行って、プログラミングを勉強してきたのに意味ないよ 回答者 「勉強の意味が無い」と言うと思った。 回答者 この記事では、エンジニア採用担当でもある筆者がSESのテスト案件で開発スキルを身に付けた裏技、テスト案件 […]
Kaggleのコンペでシェイクダウン！モチベーションアップ方法とは
金メダルとったメイド Mechanisms of Action (MoA) Predictionコンペお疲れ様でした！最終結果どうだった？ メダル無しのメイド publicスコア(テストデータの25％で評価)だと銀メダルだったのに、シェイクダウンでメダルどころか、無印になってしまったよ。 この数ヶ月、メダルとるために時間を費やしてきたのに！時間返せ～。 k […]
HEROKU(ヘロク)公式のgunicorn＋Flask＋python構成でWEBアプリのデプロイするまでの手順
この記事でわかること ・python＋Flaskで作ったWEBアプリを最速で公開する方法がわかる ・WEBアプリを公開するときに発生しやすいエラーの対処方法がわかる 概要 この記事では、HEROKUを使って、gunicorn＋Flask＋python構成でWEBアプリを公開するところまで紹介します。 また、筆者が遭遇したエラーについても補足します。 プログラミング初心者がWEBアプリ […]
【自然言語AI】日本語bert先生にMASKを使った質問で恋愛相談してみた！
bertは、Googleの検索で使われるなど、自然言語処理の分野ではよく使われています。 文章の一部をMASKする(隠す)ことにより、MASKした単語を文章の前後関係から予測することができます。 では、MASKを使って恋愛に関する問題を解決できるのか？検証してみました。 bertとは bertとは、「Bidirectional Encoder Representations from […]
kaggleのコンペでランキング爆上がりのデータ水増し(data augmentation)方法はPCAだった
概要 kaggleのコンペで正例が極端に少ないデータで戦わないと行けない事が多々あります。 そんなとき、データの水増しが、スコアアップに有効なときがあります。 この記事では、PCAを使った行単位のデータの水増し方法について解説します。 PCAを利用した、データの水増しは以下の通り。 元データをPCAで圧縮する。 圧縮したものを復元する その結果、元の値に近い値を取得することによりデー […]
huggingfaceのtransformersで5分で試せる！日本語bertのインストールから動作確認までcolaboratoryにて確認できる！
huggingfaceのtransformersが日本語の事前学習モデルを追加してくれました。 そのおかげで日本語のbertを簡単に試す出来るようになりました。 これでまた、自然言語の機械学習をしやすくなったと言えます。 今回は、colaboratory上で日本語のbertを使って、元の文章を別の文章(単語を入れ替える)にしてみます。 ためしたこと 今回は、colabo […]
自由な人生送りたい？プログラミングが苦痛で「つまらない」からの楽しくする方法
以下のような疑問にお答えします プログラミングが苦痛になる理由は何だろう？ どうしたら、プログラミングがたのしくなるのかな？ このような疑問に歴20年のエンジニアが解説します。 プログラミングが苦痛になる理由 ①：モチベーションが続かない プログラミングを初めて、３ヶ月以内に挫折する人は、なんと9割もいます。 つまり、3ヶ月以上継続できる人は1割しかいません。 モチベー […]