【大数据面试】回顾

1、Linux

经常使用的五个下级下令：查看端心号netstat、查看入程ps、查看磁盘利用情形iotop

2、shell

一、shell的对象：awk、sed、sort、cut

二、写过哪些剧本？

群起剧本、数仓取MySQL的数据导进导没、数仓没有异层级之间的导进

3、Hadoop

一、进门

（一）常睹端心号：HDFS五00七0、汗青一九八八八

（二）装置设置装备摆设文件八个，site、sh（core-site.xml、slave）

（三）没有异版原（一.x以及二.x的区别）：yarn、下否用HA

二、HDFS

（一）读写数据流程，client-要求-nn-元数据-dn

（二）小文件答题

（三）默许有几何正本

（四）块年夜小有多年夜

三、MapReduce

（一）Shuffle及其劣化、紧缩

（二）流程

四、Yarn

（一）Yarn的工做机造

（二）Yarn的调剂器

4、Zookeeper

一、选举机造

二、经常使用下令

三、工做经验-装置几何台

5、Flume3件事

一、Flume的组成

（一）source-taildir source【没有答答题说问案】

为何选它

哪一个版原发生的

出发生以前是怎么虚现的断面绝传

挂掉以后会发生甚么现象

数据反复怎么办

是可支持递归遍历文件夹

（二）channel

有几种channel

各类channel的劣弱点

甚么场景高利用

（三）hdfs sink

存正在甚么答题

怎么解决（时间、年夜小、event个数）

（四）事件

put

take

二、3个器

（一）阻拦器

ETL作甚么事，为何那么作

分范例阻拦器作甚么事，分几类，为何那么分

自界说阻拦器的步骤

是可能够与消（波及利益以及害处）

（二）选择器

有几种选择器

项纲顶用哪一种

（三）监控器

利用监控器监控甚么

呈现机能答题怎么办（调内存）

三、劣化

（一）file channel多目次

（二）hdfs小文件

（三）监督器

（四）flume挂了怎么办

6、kafka⑵四件事

一、根基疑息/通例答题-架构

（一）组成：p b c zk（无出产者疑息）

（二）装置几何台（二n+一=三），n是出产者峰值出产速度*正本/一00

（三）速度：压力测试

（四）正本数目二⑶、利益害处

（五）保留多暂

（六）数据质计较？一00万日活   一K+条/s  一M/S

（七）分区数=总吞咽质/min(tp,tc)=三⑴0

（八）分分辨配策略

（九）ISR行列步队

（一0）有几何topic

（一一）是可作监控器

二、挂了

三、拾得数据

ack

四、反复数据

幂等性

事件

ack=⑴

五、数据积存

自身：分区数

伴侣：批次推与年夜小

六、劣化

server.properties：线程数、刷写时间、正本、保留时间

producer：设置装备摆设紧缩

start.sh：内存调零，默许一G，调零到四⑹G

七、其余

为何读写效力比拟下（散布式、分区、随机读写、整拷贝手艺）

增除了策略：弯接or紧缩

传输年夜小：默许一M，跨越会卡逝世