已解决问题
谷歌rxzp2613用户在2013.06.27提交了关于“马克思爬取今日头条Ajax请求”的提问，欢迎大家涌跃发表自己的观点。目前共有1个回答，最后更新于2025-02-25T17:07:02。希望大家能够帮助她。详细问题描述及疑问：期待您的答案，滴水之恩,来日我当涌泉相报 ！
爬取今日头条Ajax请求
时间：2013.06.27 发布人：rxzp2613
谷歌rxzp2613用户在2013.06.27提交了关于“马克思爬取今日头条Ajax请求”的提问，欢迎大家涌跃发表自己的观点。目前共有1个回答，最后更新于2025-02-25T17:07:02。希望大家能够帮助她。
希望以下的回答，能够帮助你。用户名：gtgyn
预河草鲜答误征坏requestsimportosfromurllib.parseimporturlencodefromhashlibimportmd5题呼某针些胜雨促否免frommultiprocessing.poolimportPoolfromrequestsimportcodesdefget_pa增审始虽话介ge(offset):pa约rams={"offset":offset,"format":"json",式比法失"keyword":"街拍","autoload":"true",防连另"count":"20",权"cur_tab":"1","from":"search_tab"}url='https://www.toutiao.com/search_content/?'+urlencode(params)try:response亚望民技销边阶=request志国纪望马论种烈历轻s.get(url)ifresponse.stat千边拉命记间us_code=未几友先=200:#print(url)returnresponse.json()exceptreque张接倍衣叶么套古由sts.ConnectionError:returnNone#get_page(0)defget_images(json):ifjson.get('data'):foriteminjson.get('data'):ifitem.get('cell_type')isnotNone:conti**etitle=item.get('title')images=item.get('image_list')forimageinimages:yield{'title':title,'image':'https:'+image.get('url'),}defs**e_image(item):#os.path.sep路径分隔符‘//'img_path='img'+os.path.sep+item.get('title')ifnotos.path.exists(img_path):os.m**edirs(img_path)try:resp=requests.get(item.get('image'))#print(type(resp))ifcodes.ok==resp.status_code:file_path=img_path+os.path.sep+'{file_name}.{file_suffix}'.format(file_name=md5(resp.content).hexdigest(),#md5是一种加密算法获取图片的二进制**，以二进制形式写入文件file_suffix='jpg')ifnotos.path.exists(file_path):withopen(file_path,'wb')asf:f.write(resp.content)print('Downladedimagepathis%s'%file_path)else:print('AlreadyDownloaded',file_path)exceptrequests.ConnectionError:print('FailedtoS**eImage,item%s'%item)defmain(offset):json=get_page(offset)foriteminget_images(json):print(item)s**e_image(item)GROUP=0GROUP_END=2if__name__=='__main__':pool=Pool()groups=([x*20forxinrange(GROUP,GROUP_END)])***.map(main,groups)#将groups一个个调出来传给main函数pool.close()pool.join()#保子进程结束后再向下执行pool.join(1)等待一秒
第1个回答
网址：http
搜索头条
可以得到这个网址：
https://ww
开发者工具查看：
观察请求的特点，发现只有
我们可以用
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接