如果您想訂閱本博客內(nèi)容，每天自動發(fā)到您的郵箱中， 請點這里

如何爬去爬去今日頭條動態(tài)數(shù)據(jù)，
網(wǎng)上有很多教程，我就不在啰嗦了
第一步如何分析得到存儲數(shù)據(jù)的真實url
首先打開https://www.toutiao.com/，搜索街拍，會跳轉(zhuǎn)https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D
你如果用傳統(tǒng)的方式你將的得不到任何有價值的信息
這個時候你怎么辦呢？



你這個時候注意查看requests url，
Request URL: https://www.toutiao.com/api/search/content/?aid=24&app_name=web_search&offset=0&format=json&keyword=街拍&autoload=true&count=20&en_qc=1&cur_tab=1&from=search_tab&pd=synthesis&timestamp=1559831008973
到這里我們就找到了數(shù)據(jù)春芳的真正url了
你好！ 這是你第一次使用 Markdown編輯器 所展示的歡迎頁。如果你想學習如何使用Markdown編輯器, 可以仔細閱讀這篇文章，了解一下Markdown的基本語法知識。

后面就簡單了，直接上代碼
import os
import re
import json
import requests
from requests import RequestException
from requests import exceptions
from urllib.parse import urlencode
from demo01.util import buid_proxy
‘’’
抓取今日頭條圖片圖片集
因為今天頭條數(shù)據(jù)是動態(tài)，因此第一步是找到存儲圖片的真正url
第二步就是構(gòu)造瀏覽器（偽瀏覽器），因為現(xiàn)在防爬網(wǎng)站做的很好，他會更具某項標準你是否是機器人，因此這步很重要
‘’’
proxies=buid_proxy()

def get_one_page(offset, keyword):
‘’’
獲取網(wǎng)頁html內(nèi)容并返回
‘’’
params = {
‘a(chǎn)id’: ‘24’,
‘a(chǎn)pp_name’: ‘web_search’,
‘offset’: offset,
‘format’: ‘json’,
‘keyword’:keyword,
‘a(chǎn)utoload’: ‘true’,
‘count’: ‘20’,
‘cur_tab’: ‘1’,
‘from’: ‘search_tab’,
‘pd’: ‘synthesis’,
‘timestamp’: ‘1559660659001’}

header = {
    "User-Agen":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36",
    "referer":"https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D",
    "cookie":"tt_webid=6692573135994799624; UM_distinctid=16ace1c56988c-06f62adc4fd369-7a1437-144000-16ace1c5699a3; csrftoken=368635b7c1d736ff1889c2b70705afa9; tt_webid=6692573135994799624; WEATHER_CITY=%E5%8C%97%E4%BA%AC; s_v_web_id=152a5d87eb7690f9953388e50371f37b; CNZZDATA1259612802=1893030441-1558619693-https%253A%252F%252Flanding.toutiao.com%252F%7C1559662594; _ga=GA1.2.569135354.1559664708; _gid=GA1.2.419995265.1559664708; __tasessionId=wb39ej38m1559741348358",
}


url = 'https://www.toutiao.com/api/search/content/?' + urlencode(params)
#print(url)

try:
    # 獲取網(wǎng)頁內(nèi)容，返回json格式數(shù)據(jù)
    response = requests.get(url, headers=header,proxies=proxies)

    # 通過狀態(tài)碼判斷是否獲取成功
    if response.status_code == 200:
        #此處必須這樣寫不然會出現(xiàn)中文亂碼
        response=response.content.decode('utf-8')
        html=response

        return html
    return None
except RequestException:
    return None

def parse_one_page(html):
‘’’
解析出組圖網(wǎng)址,并將網(wǎng)頁中所有圖集的標題及圖片地址返回
‘’’
urls = []
data = json.loads(html,encoding=‘utf-8’)
if data and ‘data’ in data.keys():
for item in data.get(‘data’):
#print(item)
page_urls = []
title = item.get(‘title’)
#print(title)
image_list = item.get(‘image_list’)
if image_list !=None:
for i in range(len(image_list)):
# 獲取large圖片地址
url = image_list[i][‘url’]
# 替換URL獲取高清原圖
url = url.replace(‘large’, ‘origin’)
page_urls.append(url)
urls.append({‘title’: title,‘url_list’: page_urls})
return urls

def save_image_file(url, path):
‘’’
保存圖像文件
‘’’
ir = requests.get(url)
if ir.status_code == 200:
with open(path, ‘wb’) as f:
f.write(ir.content)
f.close()

def main(offset, word):
html = get_one_page(offset, word)
#print(html)

urls = parse_one_page(html)
print(urls)

#圖像文件夾不存在則創(chuàng)建
root_path = 'E:/test001/photo/TOUTIAO'
if not os.path.exists(root_path):
    os.mkdir(root_path)

for i in range(len(urls)):
    print('---正在下載 %s'%urls[i]['title'])
    folder = root_path + '/' + urls[i]['title']
    if not os.path.exists(folder):
        try:
            os.mkdir(folder)
        except NotADirectoryError:
            continue
        except OSError:
            continue

    url_list = urls[i]['url_list']
    try:
        for j in range(len(url_list)):
            path = folder + '/index_' + str("%02d"%j) + '.jpg'
            if not os.path.exists(path):
                save_image_file(urls[i]['url_list'][j], path)
    except exceptions.ProxyError:
        return  None


if name == ‘main’:
main(0,‘街拍’)

新的改變
我們對Markdown編輯器進行了一些功能拓展與語法支持，除了標準的Markdown編輯器功能，我們增加了如下幾點新功能，幫助你用它寫博客：

全新的界面設計 ，將會帶來全新的寫作體驗；
在創(chuàng)作中心設置你喜愛的代碼高亮樣式，Markdown 將代碼片顯示選擇的高亮樣式 進行展示；
增加了 圖片拖拽 功能，你可以將本地的圖片直接拖拽到編輯區(qū)域直接展示；
全新的 KaTeX數(shù)學公式 語法；
增加了支持甘特圖的mermaid語法1 功能；
增加了 多屏幕編輯 Markdown文章功能；
增加了 焦點寫作模式、預覽模式、簡潔寫作模式、左右區(qū)域同步滾輪設置 等功能，功能按鈕位于編輯區(qū)域與預覽區(qū)域中間；
增加了 檢查列表 功能。
功能快捷鍵
撤銷：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜體：Ctrl/Command + I
標題：Ctrl/Command + Shift + H
無序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
檢查列表：Ctrl/Command + Shift + C
插入代碼：Ctrl/Command + Shift + K
插入鏈接：Ctrl/Command + Shift + L
插入圖片：Ctrl/Command + Shift + G

合理的創(chuàng)建標題，有助于目錄的生成
直接輸入1次#，并按下space后，將生成1級標題。
輸入2次#，并按下space后，將生成2級標題。
以此類推，我們支持6級標題。有助于使用TOC語法后生成一個完美的目錄。

如何改變文本的樣式
強調(diào)文本 強調(diào)文本

加粗文本 加粗文本

標記文本

刪除文本

引用文本

H2O is是液體。

210 運算結(jié)果是 1024.

插入鏈接與圖片
鏈接: link.

圖片: 

帶尺寸的圖片: 

居中的圖片: 

居中并且?guī)С叽绲膱D片: 

當然，我們?yōu)榱俗層脩舾颖憬荩覀冊黾恿藞D片拖拽功能。

如何插入一段漂亮的代碼片
去博客設置頁面，選擇一款你喜歡的代碼片高亮樣式，下面展示同樣高亮的 代碼片.

// An highlighted block
var foo = 'bar';
1
2
生成一個適合你的列表
項目
項目
項目
項目1
項目2
項目3
 計劃任務
 完成任務
創(chuàng)建一個表格
一個簡單的表格是這么創(chuàng)建的：

項目 Value
電腦 $1600
手機 $12
導管 $1
設定內(nèi)容居中、居左、居右
使用:---------:居中
使用:----------居左
使用----------:居右

第一列 第二列 第三列
第一列文本居中 第二列文本居右 第三列文本居左
SmartyPants
SmartyPants將ASCII標點字符轉(zhuǎn)換為“智能”印刷標點HTML實體。例如：

TYPE ASCII HTML
Single backticks 'Isn't this fun?' ‘Isn’t this fun?’
Quotes "Isn't this fun?" “Isn’t this fun?”
Dashes -- is en-dash, --- is em-dash – is en-dash, — is em-dash
創(chuàng)建一個自定義列表
Markdown
Text-to-HTML conversion tool
Authors
John
Luke
如何創(chuàng)建一個注腳
一個具有注腳的文本。2

注釋也是必不可少的
Markdown將文本轉(zhuǎn)換為 HTML。

KaTeX數(shù)學公式
您可以使用渲染LaTeX數(shù)學表達式 KaTeX:

Gamma公式展示 Γ(n)=(n?1)!?n∈N \Gamma(n) = (n-1)!\quad\foralln\in\mathbb NΓ(n)=(n?1)!?n∈N 是通過歐拉積分

Unexpected text node: ' 'Unexpected text node: ' '
Γ(z)=∫ 
0
∞

 t 
z?1
 e 
?t
 dt.

你可以找到更多關(guān)于的信息 LaTeX 數(shù)學表達式here.

新的甘特圖功能，豐富你的文章
Mon 06
Mon 13
Mon 20
已完成
進行中
計劃一
計劃二
現(xiàn)有任務
Adding GANTT diagram functionality to mermaid
關(guān)于 甘特圖 語法，參考 這兒,
UML 圖表
可以使用UML圖表進行渲染。 Mermaid. 例如下面產(chǎn)生的一個序列圖：:

張三
李四
王五
你好！李四, 最近怎么樣?
你最近怎么樣，王五？
我很好，謝謝!
我很好，謝謝!
李四想了很長時間,文字太長了不適合放在一行.
打量著王五...
很好... 王五, 你怎么樣?
張三
李四
王五
這將產(chǎn)生一個流程圖。:

鏈接
長方形
圓
圓角長方形
菱形
關(guān)于 Mermaid 語法，參考 這兒,
FLowchart流程圖
我們依舊會支持flowchart的流程圖：

開始
我的操作
確認？
結(jié)束
yes
no
關(guān)于 Flowchart流程圖 語法，參考 這兒.
導出與導入
導出
如果你想嘗試使用此編輯器, 你可以在此篇文章任意編輯。當你完成了一篇文章的寫作, 在上方工具欄找到 文章導出 ，生成一個.md文件或者.html文件進行本地保存。

導入
如果你想加載一篇你寫過的.md文件或者.html文件，在上方工具欄可以選擇導入功能進行對應擴展名的文件導入，
繼續(xù)你的創(chuàng)作。

mermaid語法說明 ??

注腳的解釋 ??
藍藍設計( www.dzxscac.cn )是一家專注而深入的界面設計公司，為期望卓越的國內(nèi)外企業(yè)提供卓越的UI界面設計、BS界面設計 、 cs界面設計 、 ipad界面設計 、 包裝設計 、 圖標定制 、 用戶體驗 、交互設計、 網(wǎng)站建設 、平面設計服務。