Python– category –
-
Macでのスクレイピングに時間がかかったときに試した方法
MacでWindowsと同じスクレイピングプログラムを動かしたら倍以上の時間がかかったので、そのときの状況と対処について記録を残しておきます。 【状況と対処】 状況 某証券会社のサイトから評価損益を引っ張ってくるだけの簡単なプログラムを組みました。 M... -
BeautifulSoupのfindメソッドとselectメソッドの対応まとめ
BeautifulSoupを使ってスクレイピングしたHTMLソースの解析をする際によく使うのがfind系メソッドとselect系メソッドです。 毎回メソッドの記述方法を忘れてネットで調べるのですが、サイトによって扱うメソッドがバラバラで自分でコーディングをしたいと... -
【Python】BeautifulSoupでaタグに含まれるURLだけを取得する方法!
スクレイピングを行うプログラムのコーディングをしていると、現在スクレイピング中のWebページに含まれるURLだけを取得したいときが多々あります。 ということで今回は見出しの通り、BeautifulSoupでaタグに含まれるURLだけを取得する方法を解説します。 ... -
【Python】seleniumでHTMLソースを取得するpage_sourceコマンド
【ドライバで開いているページのHTMLソースを取得する】 seleniumを使ってスクレイピングをしている際に、ドライバが開いているページのHTMLコンテンツを取得したいときにはpage_sourceコマンドを使用します。 例として、このブログのトップページのHTMLコ... -
【Python】seleniumのスクレイピング時にブラウザを起動しないようにする方法!
Pythonでseleniumを使ってスクレイピングを実行すると毎回ブラウザが自動で起動します。 VSCodeから勝手に画面が切り替わったり、エラーが起きた時に自分で起動したブラウザを閉じたりしないといけなかったりと、何かと煩わしく感じていました。 というこ... -
【Python】よく利用するpipコマンドまとめ!
個人的にPythonを使う上で一番使うのがpipコマンドです。pipコマンドを使うことでPythonのライブラリを簡単に管理することができます。 今回はpipコマンドの中でも、多くの人ががよく利用するであろうものを厳選してまとめました! 【pipコマンドまとめ】 ... -
【Python】Seleniumで「AttributeError: ‘WebDriver’ object has no attribute ‘find_elements_by_class_name’」が出たときの対処法
Pythonで"find_elements_by_class_name"メソッドを実行した際に出たAttributeErrorの対処方法をまとめました。 【エラー状況と原因】 エラー状況 先日研究室で勧められたスクレイピングの本を見ながらサンプルコードを実行したところ、以下のようなエラー... -
【Python】requestsライブラリが入っているのにimportエラーが出たときの対処法
Pythonでrequestsコマンドを実行した際に出たエラーの対処法をまとめました。 【エラー状況】 先日MacにXcode経由で構築したPython環境でスクレイピングの本を使って勉強していたところ、下記のようなimportエラーに遭遇しました。 ImportError: urllib3 v... -
【Python】Anaconda + VisualStudioCodeの赤字エラーの対処法。
Anacondaで構築したPython環境をVisualStudioCode(以下VScode)のターミナルで実行したい! しかし、いざ実行すると以下のようなエラーが出てしまいました。 conda : 用語 'conda' は、コマンドレット、関数、スクリプト ファイル、または操作可...
12