Category: Python 爬蟲

Python PyCharm的快捷鍵 (精簡)

Python PyCharm的快捷鍵 (精簡) 根據Wiki說明,快速新增幾個關鍵字: 1. 快捷鍵 (快速鍵, meta key) 2. 訪問鍵 (access key) 針對寫程式的部分,先快速入門記下可能常用的快捷鍵,如果想要更多詳細的資訊,可以查詢有關於PyCharm Keymap。Python PyCharm目前需要的快捷鍵如下: a) Ctrl + Alt + Space -> 顯示提示 b) Ctrl + / -> 註解程式碼 c) Alt + / -> 自動補齊程式碼 (程式碼是將之前寫過的程式碼補齊) d) Ctrl + Shift + Enter -> 完整語句完成 e) Ctrl + F1 -> 顯示錯誤描述或警告資訊 f) Ctrl + 滑鼠左鍵 -> 追程式碼用 g) Ctrl…

Continue reading Python PyCharm的快捷鍵 (精簡)

cheapflights

https://global.cheapflights.com/flight-search/TPE-PVG/2017-11-30/1adults/?sort=bestflight_a   https://global.cheapflights.com/flight-search/TPE-PVG/2017-11-30/1adults/?sort=price_a   https://global.cheapflights.com/flight-search/TPE-PVG/2017-11-30/1adults/?sort=duration_a   https://global.cheapflights.com/search/suggest/?s=sha&t=o&v=1

Continue reading cheapflights

selenium – cdint

from selenium import webdriver browser = webdriver.Chrome() browser.get(‘http://cdict.net’) input_first = browser.find_element_by_id(‘q’) input_second = browser.find_element_by_css_selector(‘#q’) input_third = browser.find_element_by_xpath(‘//*[@id=”q”]’) print(input_first, input_second, input_third) browser.close()

Continue reading selenium – cdint

selenium – baidu

from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDriverWait browser = webdriver.Chrome() try: browser.get(‘https://www.baidu.com’) input = browser.find_element_by_id(‘kw’) input.send_keys(‘Python’) input.send_keys(Keys.ENTER) wait = WebDriverWait(browser, 10) wait.until(EC.presence_of_element_located((By.ID,’content_left’))) print(browser.current_url) print(browser.get_cookies()) print(browser.page_source) finally: browser.close()

Continue reading selenium – baidu

[爬蟲實戰] 如何使用Python 爬蟲 (Python Crawler) 下載Youtube 影片

[爬蟲實戰] 如何使用Python 爬蟲 (Python Crawler) 下載Youtube 影片     import requests res = requests.get(‘https://www.youtube.com/watch?v=5yAU52qfYuU’) print(res.text) import re m = re.search(‘layer.config = ({.*?});’,res.text) print(m.group(1)) import json jd = json.loads(m.group(1)) print(jd[“args”][“adaptive_fmts”]) import urllib from urllib.parse import urlparse parsed = urlparse(jd[“args”][“adaptive_fmts”]) a = urllib.parse.parse_qs(jd[“args”][“adaptive_fmts”]) print(a[‘url’][0]) import shutil res2 = requests.get(a[‘url’][0], stream = True) f = open(‘b.mp4’, ‘wb’) shutil.copyfileobj(res2.raw,…

Continue reading [爬蟲實戰] 如何使用Python 爬蟲 (Python Crawler) 下載Youtube 影片

STEAM創辦人「G胖」躋身富比士百大富豪 你我貢獻了一把 

根據目前最新的美國富比士富豪排行榜,Valve 聯合創始人 Gabe Newell(玩家間俗稱的 G 胖)已躋身富豪排行榜第 97 名,其身家更累計達到 55 億美元(約新台幣 1650 億元),更有玩家笑稱 Gabe Newell 能有如此成績,來自 Valve 旗下電腦遊戲販賣平台 Steam 的銷售收益絕對功不可沒。 ▲ Valve 聯合創始人 Gabe Newell 累積身家高達 55 億美元。(圖/取自 Forbes 400 ) Valve 最早在 1998 年成立,過去曾經推出過不少經典遊戲作品,其中包含:《戰慄時空》、《絕對武力》、《惡靈勢力》等系列作品,而除了遊戲開發之外,Valve 旗下最為人所津津樂道的,自然便是影響力擴及全球玩家的電子遊戲銷售平台 Steam。 Steam 是目前全球最大的數位遊戲發售平台,從一線遊戲開發商到獨立遊戲作者,許多開發者在推廣遊戲時往往都會選擇透過 Steam 來作為發行管道之一,足以見得 Steam 在全球玩家心目中的地位及其重要性所在。然而值得玩味的是,Valve 截至目前為止仍然是未上市公司,即便是富比士調查團隊也無法明確得知具體的財務狀況,更有人認為 Valve 聯合創始人 Gabe Newell 可能擁有 Valve 一半以上的收益。

Continue reading STEAM創辦人「G胖」躋身富比士百大富豪 你我貢獻了一把 

Selenium

1. Installation 1.1. Introduction Selenium Python bindings provides a simple API to write functional/acceptance tests using Selenium WebDriver. Through Selenium Python API you can access all functionalities of Selenium WebDriver in an intuitive way. Selenium Python bindings provide a convenient API to access Selenium WebDrivers like Firefox, Ie, Chrome, Remote etc. The current supported Python…

Continue reading Selenium

Python installation selenium

1. Installation 1.1. Introduction Selenium Python bindings provides a simple API to write functional/acceptance tests using Selenium WebDriver. Through Selenium Python API you can access all functionalities of Selenium WebDriver in an intuitive way. Selenium Python bindings provide a convenient API to access Selenium WebDrivers like Firefox, Ie, Chrome, Remote etc. The current supported Python…

Continue reading Python installation selenium