CATEGORY

機械学習

kaggleの画像処理コンペで絶対使うalbumentationsライブラリーの利用方法!ポートレートモデルさんの画像で解説します

またまた、kaggle(AIコンペ)で画像処理系のコンペを戦っているんだ。 コンペでは、画像の拡張(サイズを変えたり、加工したり)が必要で、それがないと上位に行けないんだ。なんかいい方法ない?   今回は、優勝者も使うalbumentationsライブラリーの使い方を解説しますね。   albumentationsをインストールする   まずは、albumentati […]

【自然言語AI】日本語bert先生にMASKを使った質問で恋愛相談してみた!

写真は、ポートフォリオ撮影の未来様   bertは、Googleの検索で使われるなど、自然言語処理の分野ではよく使われています。 文章の一部をMASKする(隠す)ことにより、MASKした単語を文章の前後関係から予測することができます。 では、MASKを使って恋愛に関する問題を解決できるのか? 検証してみました。     bertとは bertとは、「Bidirecti […]

kaggleのコンペでランキング爆上がりのデータ水増し(data augmentation)方法はPCAだった

概要 kaggleのコンペで正例が極端に少ないデータで戦わないと行けない事が多々あります。 そんなとき、データの水増しが、スコアアップに有効なときがあります。 この記事では、PCAを使った行単位のデータの水増し方法について解説します。   PCAを利用した、データの水増しは以下の通り。 元データをPCAで圧縮する。 圧縮したものを復元する その結果、元の値に近い値を取得することによりデー […]

【AI】日本語Bertでファインチューニングしてツイートの感情の分類を解く!

  初心者メイド 自然言語の世界でBertが有名だけど、難しそうだね〜。 Attentionやtransformers、さらにRNN、LSTMとか意味不明な横文字ばかりでよくわからないな。   Bertに強いメイド RNNやLSTMは、Bertが登場する前に自然言語の機械学習(深層学習)で使われていたんだけど、長い文章に弱い(記憶力が弱い)という欠点があったんだ。 記憶力が弱い […]

huggingfaceのtransformersで5分で試せる!日本語bertのインストールから動作確認までcolaboratoryにて確認できる!

  huggingfaceのtransformersが日本語の事前学習モデルを追加してくれました。 そのおかげで日本語のbertを簡単に試す出来るようになりました。 これでまた、自然言語の機械学習をしやすくなったと言えます。 今回は、colaboratory上で日本語のbertを使って、元の文章を別の文章(単語を入れ替える)にしてみます。     ためしたこと &nb […]

問題を理解したらkaggleのコンペでソロ銀メダルをゲットした話

  kaggleに挑戦して7ヶ月目、Ion Switchingというコンペで、ついにソロ銀メダルを取ることができました!   へーーよかったですね~。 どんなチートをしたんだい? 公開されているカーネルを集めてアンサンブルでもかけていたのかい?   いいえ、それで銀メダル取れる人なんていないよ。 銀メダルの決め手になったことは、問題文の意図、背景を理解することでした。 […]

seleniumとpythonを使ったスクレイピングをyahoo知恵袋を例に解説!図に出力も

  ネット上のデータ収集は、スクレイピングを使うと効率的にできて良いと聞いたよ。 しかし、やり方が良くわからない。 スクレイピング方法をだれか教えてねん! また、集めたデータをどう活用するの? 誰も教えてくれないから教えてよ!   というわけで、今回はYahoo知恵袋の質問の検索結果の取得および、質問の詳細ページの取得を例にスクレイピングの実装例を紹介します。   さ […]

【pythonで自然言語処理】日本語版・word2vecで分散表現した単語を2次元に可視化する

    スクレイピングでデータを集めてみたんだけど、10000行とかデータが多すぎて分析が面倒だよ。 なんかいい方法ないかな?     すべてのデータを見るなんて現実的ではないよね。 そんな事やっているのは、De○Aのkaggleの金メダリストくらいだよ〜。 今回は、日本語の類似単語を図に出す方法を解説するよ。 単語を図にプロットするとなんとなく傾向をつかめ […]

5分で解決!nltk.downloadを実行したらSSL CERTIFICATE_VERIFY_FAILEDでハマった話

この記事でわかること pythonのnltkでstopwords辞書をダウンロードする方法がわかる nltk.downloadでSSL関係のエラーが出たときの対処方法がわかる   pythonの自然言語処理パッケージnltkのnltk.downloadを実行してstopwordsをダウンロードしようとしたら、 SSL CERTIFICATE_VERIFY_FAILEDエラーがでてハマりま […]

kaggleで戦うならMongoDBは必須!csvファイルを5分以内でimport(インポート)できる

この記事を読むとわかること ・CSVファイルをmongoDBにインポートする方法がわかる ・インポートにかかる時間が5分以内であることが分かる ・なぜ、kaggleで戦うのにmongoDBを使うと良いのかわかる     なぜkaggleを戦うのにDBを用意するの?   kaggleで提供されるCSVデータは、10M以上あり、エクセルで開こうとするとかなり重くなります。 […]

>プログラミングスクール検索・比較表サイト

プログラミングスクール検索・比較表サイト

ワンクリック、さらに詳細に条件を指定してプログラミングスクールの検索ができます。さらに比較表により特徴を細かく比較できる!

CTR IMG