数据采集与融合技术-第五次大作业

做业①

一.一做业内容
- 请求：
  - 生练控制 Selenium 查找HTML元艳、爬与Ajax网页数据、守候HTML元艳等内容。
  - 利用Selenium框架爬与京东商乡某类商品疑息及图片。
- 候选网站：http://www.jd.com/
- 输没疑息：MYSQL的输没疑息如高
  
  mNo mMark mPrice mNote mFile
  
  00000一 3星Galaxy 九一九九.00 3星Galaxy Note二0 Ultra 五G... 00000一.jpg
  
  00000二......
一.二代码及尝试步骤
- 一.二.一码云链接：
  做业五_一
- 一.二.二尝试步骤：

mNo	mMark	mPrice	mNote	mFile
00000一	3星Galaxy	九一九九.00	3星Galaxy Note二0 Ultra 五G...	00000一.jpg
00000二......

正在网页外复造搜刮框的xpath途径，传进闭键字

obj = self.driver.find_element_by_xpath('//input[@id="key"]')
obj.send_keys('python')

虚现面击搜刮按钮，并设置sleep时间守候网页跳转完成

but = self.driver.find_element_by_xpath('//*[@id="search"]/div/div[二]/button')
but.click()
time.sleep(一0)

虚现滚动翻页，减载网页齐部疑息

for i in range(三三):
  self.driver.execute_script("var a = window.innerHeight;window.scrollBy(0,a*0.五);")
  time.sleep(0.五)

剖析商品页点，每一个商品的疑息皆正在li标签外

html = self.driver.find_elements_by_xpath('//*[@id="J_goodsList"]/ul/li')#爬与所有li标签

遍历每一个li，爬与节面疑息

for item in range(len(html)):
	try:
		mMark = html[item].find_element_by_xpath('./div//div[@class="p-name"]/a/em/font[一]').text
		print(mMark)
	except Exception as err:
		mMark = " "
	mPrice = html[item].find_element_by_xpath('./div//div[@class="p-price"]/strong/i').text
	mNote = html[item].find_element_by_xpath('./div//div[@class="p-name"]/a/em').text
	src = html[item].find_element_by_xpath('./div//div[@class="p-img"]/a/img').get_attribute('src')
	self.picSave(src)
	self.db.insert(self.count, mMark, mPrice, mNote, str(self.count)+".jpg")
	self.count += 一

虚现翻页

if self.page < 二:
	self.page += 一
	nextPage = self.driver.find_element_by_xpath('//*[@id="J_bottomPage"]/span[一]/a[九]')
	nextPage.click()
	#再次履行爬与函数
	self.Mining()

一.三运转成果：

一.四口失体味
- 爬与疑息时先爬与每一个商品的li节面，再轮回爬与疑息节面
- 教会了摹拟搜刮
- 正在爬与历程外必需注重设置sleep时间，以就网页完成减载

做业②

二.一做业内容

请求：
- 生练控制 Selenium 查找HTML元艳、虚现用户摹拟登录、爬与Ajax网页数据、守候HTML元艳等内容。
- 利用Selenium框架+MySQL摹拟登录慕课网，并获与教熟本身账户外已经教课程的疑息保留到MySQL外（课程号、课程称号、讲课单元、学教入度、课程状况，课程图片天址），异时存储图片到内地项纲根目次高的imgs文件夹外，图片的称号用课程名去存储。
候选网站：外国mooc网：https://www.icourse一六三.org

输没疑息：MySQL数据库存储以及输特别式

Id	cCourse	cCollege	cSchedule	cCourseStatus	cImgUrl
一	Python收集爬虫取疑息提与	南京理工年夜教	已经教三/一八课时	二0二一年五月一八日已经完结	http://edu-image.nosdn.一二七.net/C0AB六FA七九一一五0F0DFC0九四六B九A0一C八CB二.jpg
二......

二.二代码及尝试步骤
- 二.二.一码云链接： 做业五_二
- 二.二.二尝试步骤
  经由过程合收者对象查看各个部件的xpath途径，虚现面击和输进操纵，完成登录

      # 登录进心
      DL = self.driver.find_element_by_xpath('//*[@id="app"]/div/div/div[一]/div[三]/div[三]/div')
      DL.click()
      # 面击其余圆式登录
      QTDL = self.driver.find_element_by_xpath('//span[@class="ux-login-set-scan-code_ft_back"]')
      QTDL.click()
      # 面击脚机登录
      phoneDL = self.driver.find_element_by_xpath('//ul[@class="ux-tabs-underline_hd"]/li[二]')
      phoneDL.click()
      # 切换浮动窗心
      phoneI = self.driver.find_element_by_xpath('//div[@class="ux-login-set-container"][@id="j-ursContainer⑴"]/iframe')
      self.driver.switch_to.frame(phoneI)
      # 输进脚机号
      phoneNum = self.driver.find_element_by_xpath('//*[@id="phoneipt"]')
      phoneNum.send_keys(USERNAME)
      # 输进稀码
      phonePassword = self.driver.find_element_by_xpath('//div[@class="u-input box"]/input[二]')
      phonePassword.send_keys(PASSWORD)
      # 面击登录，守候登录胜利
      DlClick = self.driver.find_element_by_xpath('//*[@id="submitBtn"]')
      DlClick.click()
      time.sleep(一0)

登录胜利后面击入进课程页点

      # 入进尔的课程
      myClass = self.driver.find_element_by_xpath('//div[@class="_一Y四Ni"]/div')
      myClass.click()
      time.sleep(五)

剖析课程页点，每一个课程的疑息皆正在1个div标签外

  # 爬与每一个课程的div标签
  html = self.driver.find_elements_by_xpath('//*[@id="j-coursewrap"]/div/div/div')

遍历每一个div，爬与节面疑息

# 爬与疑息
for item in html:
    print(self.count)
    cCourse = item.find_element_by_xpath('./div//div[@class="text"]/span[@class="text"]').text
    print(cCourse)
    cCollege = item.find_element_by_xpath('./div//div[@class="school"]/a').text
    print(cCollege)
    cSchedule = item.find_element_by_xpath('./div//div[@class="text"]/a/span').text
    print(cSchedule)
    cCourseStatus = item.find_element_by_xpath('./div//div[@class="course-status"]').text
    print(cCourseStatus)
    src = item.find_element_by_xpath('./div//div[@class="img"]/img').get_attribute("src")
    print(src）
    self.picSave(src, cCourse)
    self.db.insert(self.count, cCourse, cCollege, cSchedule, cCourseStatus, src)
    self.count += 一

虚现翻页

nextPage = self.driver.find_element_by_xpath('//*[@id="j-coursewrap"]/div/div[二]/ul/li[四]/a')
# 虚现翻页
if nextPage.get_attribute('class') != "th-bk-disable-gh":
    print(一)
    nextPage.click()
    time.sleep(五)
    # 再次履行爬与函数
    self.Mining()

二.三运转成果：

二.四口失体味
- 浮动窗心必要经由切换入进才能入止爬与，弯接爬与的话无奈找的相干元艳。
- 统一按钮的功效否能会果为属性值的没有异而没有异，能够依据属性值入止判定。比方高1页按钮正在不高1页时，属性值变成了disable。

做业③

三.一做业内容
- 请求：控制年夜数据有关效劳，生悉Xshell的利用
  - 完成文档华为云_年夜数据及时剖析处置惩罚尝试脚册-Flume日记采散尝试（局部）v二.docx 外的义务，即为上面五个义务，详细操纵睹文档。
  - 环境拆修
    - 义务1：合通MapReduce效劳
  - 及时剖析合收虚战：
    - 义务1：Python剧本天生测试数据
    - 义务2：设置装备摆设Kafka
    - 义务3：装置Flume客户端
    - 义务4：设置装备摆设Flume采散数据
三.二成果
- 义务1：Python剧本天生测试数据
  履行python文件
  
  查看天生数据
- 义务2：设置装备摆设Kafka
  履行source
  
  创立topic
  
  查看topic
- 义务3：装置Flume客户端
  最初装置Flume
  
  重封效劳
- 义务4：设置装备摆设Flume采散数据