윈도우 환경에서 임시 테스트 해봄. spark 2.3.0

 

#Parquet 파일에서 data frame 읽기

 

val df = spark.read.parquet("d:\\test.parquet")
df.createOrReplaceTempView("TestView")
var namesdf = spark.sql("SELECT RoundX FROM TestView WHERE Col = 31 AND Row = 40")
namesdf.count()
namesdf.map(attributes => "Name: " + attributes(0)).show()

 

 

#csv 파일에서 data frame 읽기

import org.apache.spark.sql.types._

val schema= StructType(Array(
    StructField("PosX",        FloatType,false),
    StructField("PosY",        FloatType,false),
    StructField("Col",             ShortType,true),
    StructField("Row",         ShortType,true),
    StructField("Id",    IntegerType,true),
    StructField("Label",            StringType,true)))

val df = spark.read.format("csv").option("header", "false").option("delimiter", ",").schema(schema).load("test001.csv")

 

 

#dataframe을 하나의 Parquet 파일로 저장하기. 

df.coalesce(1).write.format("parquet").mode("append").save("d:\\tmp\\test003.parquet")

 

 

 

#dataset을 하나의 Parquet 파일로 저장하기

tiny = spark.sql("SELECT * FROM db.big_table LIMIT 500")
tiny.repartition(1).write.parquet("d:\\tmp\db.tiny_table.parquet")

 

 

#scala script 읽기

spark-shell에서

:load test.scala

D:\Logs\2019\20190803\LOG_A_20190803.txt 형식으로 작성이 된다.

 

<?xml version="1.0" encoding="utf-8" ?>

<log4net>

  <appender name="DebugAppender" type="log4net.Appender.DebugAppender" >

    <layout type="log4net.Layout.PatternLayout">

      <conversionPattern value="%date [%thread] %-5level %logger - %message%newline" />

    </layout>

  </appender>

  <appender name="RollingLogFileAppender" type="log4net.Appender.RollingFileAppender">   

    <file type="log4net.Util.PatternString" value="D:\Logs\%date{yyyy}\%date{yyyy}%date{MM}%date{dd}\LOG_" />

    <datePattern value="'A_'yyyyMMdd'.txt'" />

    <param name="AppendToFile" value="true" />

    <param name="rollingStyle" value="Date" />

    <staticLogFileName value="false" />

    <layout  type="log4net.Layout.PatternLayout">

      <param name="conversionPattern" value="%date [%thread] %-5level %logger [%property{NDC}] - %message%newline" />

    </layout>

  </appender>

  <root>

    <level value="ALL"/>

    <appender-ref ref="DebugAppender" />

    <appender-ref ref="RollingLogFileAppender" />

  </root>

</log4net>

'C#' 카테고리의 다른 글

log4net.config 예제  (0) 2019.08.03
GDI+ Bitmap Rotaion  (0) 2019.02.19
WPF RichText에서 HTML 표시하기  (0) 2019.02.09
Visual Studio Debug.WriteLine 표시가 안될때 대처 방안  (0) 2018.11.15
WPF, Template Select 하기  (0) 2018.05.29
WPF MVVM 샘플코드  (0) 2018.05.28

cmd 창을 자주 사용하게 되어, 작업 표시줄에 등록해서 사용중입니다.

그런데, cmd를 관리자모드로 열고 싶은데, 마우스 오른쪽 눌러서 관리자모드로 열기가 귀찮더군요.

 

기본으로 관리자모드로 열 수 있게 설정하는 방법입니다.

 

명령프롬프트 속성 / 바로가기 탭에서 고급 버튼을 누릅니다.
관리자 권한으로 실행 체크 하시고 확인!

+ Recent posts