Phantomjs

Posted on |
使用 Phantomjs 过程中遇到的问题

无法打开https网站

用 phantomjs 自动登陆并爬取一些数据，发现爬取 https 类型的网站的时候无法正常操作

Phantomjs中有个service_args参数可以忽略https错误

1
driver = webdriver.PhantomJS(desired_capabilities=cap, service_args=['--ignore-ssl-errors=true'])

获取 cookie

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from selenium import webdriver
import pickle
driver=webdriver.PhantomJS()
driver.get(url)  #此处url填写需要访问的地址
# 获得 cookie信息
cookie_list = driver.get_cookies()
print (cookie_list)
cookie_dict = {}
for cookie in cookie_list:
    #写入文件
    f = open('cookie.txt','wb+')
    pickle.dump(cookie, f)
    f.close()
　　　
cookie_dict[cookie['name']] = cookie['value']

引用