サクッとdockerでpythonとmysqlの開発環境を作成する
■この記事を読むとわかること dockerを使ってpythonからmysqlを呼び出して処理する方法がわかる(「Docker Compose」は利用していません) pythonとmysqlを連携するときに必要なDockerネットワークの使い方がわかる pythonとmysqlを連携する際にハマるポイントがわかる 概要 時間をかけないでpythonとmysqlの開発環境を […]
CATEGORY
プログラミング
【ハマり解決】Pythonのmysql接続ライブラリdatasetを使ったらUnicodeEncodeErrorが発生した
Pythonのライブラリdatasetを使ってmysqlにデータを書き込もうとしたときに、UnicodeEncodeErrorが出て書き込みに失敗した。 対処方法がわかったので記事化します！ 起きた問題 Pythonのライブラリdatasetを使ってmysqlにデータを書き込み(insert)を試みました。 しかし、insertの処理をしようとしたタイミングで、UnicodeEnco […]
【ハマり解決】python・dockerのmysql8に接続でcaching_sha2_passwordエラーが出た！
この記事では、pythonのライブラリmysql.connectorを使って、dockerのmysql8に接続しようとしたとき、caching_sha2_passwordエラーが出でて詰まった人に解決策を述べます！ また、dockerを使っていなくてもcaching_sha2_passwordエラーの対処方法がわかると思います！ 概要 pythonでmysql8にmysql.connectorライ […]
pythonのseleniumでjavascript(ajax)、iframeが使われたページのスクレイピング方法
情報収集には、「スクレイピング」を使うと楽ですが、javascript(ajax)、iframeが使われたサイトだとうまく取得できないことが多いです。 今回は、javascriptによる非同期読み込み、iframeが使われたサイトに対応した、「スクレイピング」方法をseleniumを使った例で解説します。 概要 スクレイピングを使うと、自動でWEBサイトのデータをダウンロードできるの […]
5分で解決！nltk.downloadを実行したらSSL CERTIFICATE_VERIFY_FAILEDでハマった話
この記事でわかること pythonのnltkでstopwords辞書をダウンロードする方法がわかる nltk.downloadでSSL関係のエラーが出たときの対処方法がわかる pythonの自然言語処理パッケージnltkのnltk.downloadを実行してstopwordsをダウンロードしようとしたら、 SSL CERTIFICATE_VERIFY_FAILEDエラーがでてハマりま […]
Kaggleで銅メダル以上を取るには？コンペ後にwinner solutionを試した結果・・・
この記事を読むとわかること ・メダルが取れる人と、取れない人の思考パターンがわかる ・コンペ「Google QUEST Q&A Labeling」を例に、何をしたら銅メダルを取れるのかわかる ・無メダルと銅メダルの境界ラインが、実際のコードを使った例でわかる プロローグ 先日、2020年2月10日にGoogle QUEST Q&A Labelingが終了しました。 G […]
Kaggle・Google QUEST Q&A Labelingコンペでメダルを逃す方法を共有！
■この記事を読むとわかること ・Google QUEST Q&A Labelingコンペの内容がわかる ・kaggle初心者のあるあるがわかる ・メダルのゲットを失敗する思考が分かる 序章・コンペの振り返り Kaggleの Google QUEST Q&A Labelingコンペが終了しました。 今回もメダルを逃してしまいました。 このブログでは、コンペの振り返りの意 […]
kaggleで戦うならMongoDBは必須！csvファイルを5分以内でimport(インポート)できる
この記事を読むとわかること ・CSVファイルをmongoDBにインポートする方法がわかる ・インポートにかかる時間が5分以内であることが分かる ・なぜ、kaggleで戦うのにmongoDBを使うと良いのかわかる なぜkaggleを戦うのにDBを用意するの？ kaggleで提供されるCSVデータは、10M以上あり、エクセルで開こうとするとかなり重くなります。 重いときは1Gを超えること […]
Googletransで大量にリクエストしたらブロックされた！対処方法5選！
この記事で分かること ・Googletransを使ったGoogle翻訳の使い方が分かる ・GoogletransのPythonの実装例が分かる ・Googletransがなぜ不安定と言われているかわかる ・Googletransはいきなり使えなくなることがある。その対処方法が分かる メイド見習い 1万語ほど翻訳したら急に翻訳できなくなってしまったんだ。 翻訳を試みても「Expecti […]
colabですぐ試せる！サクッとseq2seqで英語から日本語翻訳を試す
この記事でわかること 機械学習のseq2seqの仕組みがわかる seq2seqを使うとどんなことができるかわかる seq2seqを利用した英語から日本語に翻訳するpythonのプログラミング例がわかる kerasでモデルを作る方法がわかる seq2seqとは 特徴は？ seq2seqを使うとこんな事ができます。 ・長い文章を要約することができる ・対話の応答。自動返信のチャットが良い […]