6亿网址
windows与linux系统安装python+chrome+seleniumhq实现对网站截图

windows与linux系统安装python+chrome+seleniumhq实现对网站截图

记录windows与linux系统安装python+chrome+seleniumhq对网站截图上传网站缩略图

这里做个简单安装记录,不建议在linux系统服务器上安装使用,运行起来真的很占用CPU内存带宽,6亿网址全站的网站快照图片都是使用python脚本线程批量更新网站缩略图片。

在这之前也做过用phantomjs处理网站缩略图,但是发现对很网站渲染不好处理后网站图片与浏览器看到的有很大差别,并且速度慢。

现在改为python+chrome+seleniumhq+ImageMagick方式,24小时10线程全速自动处理,缩略图的图片效果也好。


QQ截图20190920111502.jpg

windows系统安装python+chrome+seleniumhq

1、下载安装python最新3.7.4版本

https://www.python.org/downloads/

https://www.python.org/ftp/python/3.7.4/python-3.7.4.exe

安装选择Customize installation

打勾Add python 3.7 to PATH

一路下一步到选择安装路径,直接改为

D:\ptyhon\python37 就可以了

QQ截图20190920093538.jpg

2、安装chrome浏览器与chromedriver驱动

下载chrome浏览器

https://www.google.cn/chrome/

下载chromedriver驱动地址

http://chromedriver.storage.googleapis.com/index.html

选择对应或者接近chrome浏览器版本

现在我的是chromedriver_win32——73.0.3683.68.zip

解压 chromedriver_win32——73.0.3683.68.zip 后把chromedriver.exe复制到D:\ptyhon\python37文件夹里


3、下载setuptools到D:\ptyhon\

https://pypi.org/project/setuptools/#files

https://files.pythonhosted.org/packages/d9/ca/7279974e489e8b65003fe618a1a741d6350227fa2bf48d16be76c7422423/setuptools-41.2.0.zip

解压 setuptools-41.2.0.zip


4、下载seleniumhq到D:\ptyhon\

https://pypi.org/project/selenium/#files

https://files.pythonhosted.org/packages/ed/9c/9030520bf6ff0b4c98988448a93c04fcbd5b13cd9520074d8ed53569ccfe/selenium-3.141.0.tar.gz

解压 selenium-3.141.0.tar.gz


5、简单python测试代码,在D:\ptyhon\创建一个test.py写入以下代码保存

#!/usr/bin/env python
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
import sys
url = sys.argv[1]
img = sys.argv[2]
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('--hide-scrollbars')
options.add_argument('--no-sandbox')
options.add_argument('--incognito')
options.add_argument('--window-size=1366,911')
options.add_argument('test-type')
options.add_experimental_option("excludeSwitches", ["ignore-certificate-errors","enable-automation"])
browser = webdriver.Chrome(options=options)
browser.set_page_load_timeout(60)
browser.get(url)
browser.save_screenshot(img)
handles = browser.window_handles
for handle in handles:
    browser.switch_to.window(handle)
    browser.close()
browser.quit()
browser.quit()
print(url)
print(img)
print('ok')


6、打开CMD窗口

更新环境变量

set PATH=%PATH%;

安装setuptools与selenium

cd D:\python\setuptools-41.2.0

python setup.py install

cd D:\python\selenium-3.141.0

python setup.py install

cd D:\python\

python test.py https://www.6ywz.com 1.png

就可以生成网站截图了

QQ截图20190920105426.jpg


linux系统服务器安装python+chrome+seleniumhq


服务器默认已有python2.7.5版本,所有只安装这几个chrome+chromedriver+setuptools+seleniumhq+pip就可以了

1、安装chrome

安装必要的库

yum install mesa-libOSMesa-devel gnu-free-sans-fonts wqy-zenhei-fonts

下载安装

wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm

yum install google-chrome-stable_current_x86_64.rpm

google-chrome -version 查看chrome浏览器的版本


2、安装 chromedriver

下载地址

http://chromedriver.storage.googleapis.com/index.html

选择对应或者接近chrome浏览器版本的chromedriver_linux64.zip

解压

unzip chromedriver_linux64.zip

移动链接

mv chromedriver_linux64/chromedriver /usr/local/bin/

改变用户执行权限:

chmod u+x,o+x /usr/local/bin/chromedriver


下载安装setuptools

https://pypi.org/project/setuptools/#files

wget https://files.pythonhosted.org/packages/d9/ca/7279974e489e8b65003fe618a1a741d6350227fa2bf48d16be76c7422423/setuptools-41.2.0.zip

unzip setuptools-41.2.0.zip

cd setuptools-41.2.0

python setup.py install


下载安装seleniumhq

https://pypi.org/project/selenium/#files

wget https://files.pythonhosted.org/packages/ed/9c/9030520bf6ff0b4c98988448a93c04fcbd5b13cd9520074d8ed53569ccfe/selenium-3.141.0.tar.gz

tar xvf selenium-3.141.0.tar.gz

cd selenium-3.141.0

python setup.py install


下载安装pip

https://pypi.org/project/pip/#files

wget https://files.pythonhosted.org/packages/00/9e/4c83a0950d8bdec0b4ca72afd2f9cea92d08eb7c1a768363f2ea458d08b4/pip-19.2.3.tar.gz

tar xvf pip-19.2.3.tar.gz

cd pip-19.2.3

python setup.py install


至此linux系统安装完成了,python3.7与python2.7的python代码需要修改适配。

更多推荐
6亿网址声明:所有网址链接源于网络收集,外部网站的内容与合法性与本站无关,如有疑问请联系1261211881@qq.com