天眼查询个人,如何做网站优化,怎么做网络推广和宣传,网站建设费如何入帐Profile
Profile 是最重要的第一环。
利用好 spark UI 和 yarn container log分析业务代码#xff0c;对其计算代价进行预判建设基准#xff0c;进行对比#xff0c;比如application id 进行对比#xff0c;精确到 job DAG 环节
充分利用 UI
Stage 页面
页头 summary对其计算代价进行预判建设基准进行对比比如application id 进行对比精确到 job DAG 环节
充分利用 UI
Stage 页面
页头 summary也很重要。
勾选所有 UI metrics提供判断依据 task 维度 metrics Executor 维度 application id 对比
如果两个application id shuflfle read/write 差不多input/output 差不多。 慢的那一个如果内存消耗大那说明计算量大比如 sum count 等
Executor 页面
选中所有 metrics增加判断依据
注意GC
