|
| ||||
|
|
|||
| ||||
|
MKLXD073_최종2.zip (120.5 KB), Download : 101 | |||
| ||||
|
[LXDIC] MKLXDIC 0.73 최종2버전(0220) | |||
| ||||
|
[mklxdic 0.73] 2006.02.20 추가수정내역 - 일치검색시 앞단어,뒷단어 표출 mklxdic 0.73은 LXDIC의 사전을 만드는 프로그램입니다. 윈도우용의 깔끔한 인터페이스를 제공하지는 않지만, 사전데이터 병합,분할 등의 전처리기와 실제 사전데이터 생성프로그램을 분리함으로써 유연하게 데이터를 처리하는 면도 있는 것 같습니다.^^ LXDIC의 데이터 형태는 다음과 같습니다. 1. LXDIC 사전 형태 - 구분자(SEPARATOR)는 ' /// ' 입니다. - 개행자(ENTER_CH)는 명확하고 정규식에도 깔끔하게 잡히는 <br> 입니다. - 기본적인 사전파일 분할은 momodic과 사전과 동일합니다. - 단어상의 모든 특수문자("-","_"는 제외)는 "_"로 전환되어 사전파일에 할당되어야 검색이 됩니다. 즉, "X"-> X.dic, "X series"-> X_.dic, "[X man]"->_X.dic에 배치 되어야 함. 위의 작업은 MKLXDIC.EXE에서 자동으로 수행합니다. - 한 단어가 20480byte를 넘을 경우는 아래의 SPLIT 절차를 이용합니다. 수가 적으면 에디터를 이용하여 수동으로 할 수도 있고, 자동화된 전처리 스크립트(d3spit.pl)를 이용할 수도 있습니다. ---- 시작 ---- COMMNICATION /// 설명<br>설명<br> COME /// 설명<br>설명<br>설명<br> <-- 한 줄에 20KB가 넘으면 짤림 COME#1 /// 설명<br>설명<br> <-- 표제어#1로 분리 COME#2 /// 설명<br>설명<br> ---- 끝 ---- 2. MKLXDIC 프로그램 구성 - MKLXDIC.CFG : MKLXDIC의 설정파일(Input 파일, Output 디렉토리, 완성/조합, 구분자/개행자 등 설정) - MKLXDIC.EXE : MKLXDIC 실행파일 CFG 설정 후 실행 - d2mergec.pl : 동일 단어 MERGE 전치리 스크립트(CASE구분 버전) - d2mergen.pl : 동일 단어 MERGE 전치리 스크립트(CASE무시 버전) - d3split.pl : 대량데이터 분리 전치리 스크립트 - d8conv_s.pl : 구분자(SEPARATOR) 치환 스크립트(예 : " " -> " /// ") - d8conv_e.pl : 개행자(ENTER_CH) 치환 스크립트(예 : "\t" -> " /// ") - d9chk.pl - 나머지는 컴파일에 필요한 파일 혹은 유닉스에서 사용하는 스크립트 입니다. 3.LXDIC 사전 생성 절차 일반적으로 4단계를 거치게 되어있으나, 어떤 사전의 경우 전치리 필요없는 경우도 있습니다. 1) Raw 데이터 확인 및 유닉스 형태로 저장 - 울트라데이터 등을 이용하여 Raw데이터의 구분자,개행자를 확인하고, 유닉스 형태로 저장합니다. 2) Raw 데이터 Merge 전처리 - 동일표제어에 대한 병합이 필요할 경우 수행합니다. 정렬을 먼저해야 하며 CASE구분, 무시에 따라 사용스크립트가 다릅니다. - Merge는 기본적으로 "숫자,공백,()" 등을 제거한 표제어를 바로 위와 비교하여 같은 경우 합치는 구조입니다. 예) close 1, close(2) -> 두 단어를 합친다 01획,02획 -> 두 단어를 합친다(같은 ghlr이므로) -> 원하지 않는 경우이므로, 이 부분만 제외>Merge>재추가 등으로 작업합니다. - 정렬(Sort) . CASE구분 : rkek(가다), Rkek(까다)가 구분되어야 할 경우. 보통 한글표제어 사전 . CASE무시 : CRAM과 cram이 합쳐져야 할 경우. 보통 영문표제어 사전 - 전처리 스크립트 수행(d2mergec.pl) . CASE구분 : perl d2mergec.pl [input file] [output file] . CASE무시 : perl d2mergen.pl [input file] [output file] ex) 유닉스,리눅스,윈도우의 예 $ cat elite.txt | sort -f > elite1.txt (위의 명령은 유닉스 상에서의 명령이므로, 윈도우에서 수행시 텍스트 Sorting을 지원하는 프로그램을 사용해야함) D:\> perl d2mergec.pl elite1.txt elite2.txt 3) Raw 데이터 중 20480byte 이상단어 전처리 - 한 줄의 20480byte 이상 단어의 분할이 필요할 경우 분할을 한다. 대개는 몇 단어 안되므로 수동으로 에디터에서 처리해도 된다. - 대상단어 확인 : d9chk.pl [대상파일] [Byte] - 자동분할 수행 : d3split.pl [input file] [output file] ex) 유닉스,리눅스,윈도우의 예 D:\> perl d9chk.pl elite2.txt 20480 5478 line : exceed 20480 bytes(come) . . . D:\> perl d3split.pl elite2.txt elite3.txt 4) MKDIC.CFG파일 설정 후 MKDIC.EXE로 사전 생성 - 전처리가 완료된 파일을 이용하여 LXDIC 사전을 생성한다. 20480Byte의 제한이 있어 넘는 단어가 있을경우 짤리게 된다. - DOS용 프로그램이므로 파일명을 도스형태로 한다. - 완성형은 거의 제한이 없으나, "조합형 한문" 표제어일 경우 표제어 영문 변환이 불가능하다.(조합형 한글은 가능) ex) 도스창에서의 예 MKLXDIC.CFG 파일 설정 후 MKLXDIC 프로그램 디렉토리에서 다음 명령을 수행한다. D:\> MKLXDIC [1000] [2000] . . . ---------- Total 58471 words |
|
||
|
||
|
||
|
윈도우용 perl은 필요하시면 올려드리겠습니다. www.activestate.com인가에서도 무료로 받을 수 있습니다. |
||
|
||
|
||
|
||
|
||
|
아.. 여기 있었네요. Merge~ ^^ 저는 예전에 울트라에딧이 한글폰트가 반 깨지는게 싫어서 다른 걸 씁니다. 팜용 사전의 제목을 바꿀 때 헥사 에딧을 쓸 때만 이 걸 쓰네요. 지금은 주로 3 개를 같이 쓰고 있습니다. 각각 다른 에디터에서 지원해주지 않는 기능이 있기 때문에 파일 하나를 세 에디터에서 띄워두고 수정을 하면 다른 데서 알아서 다시 리로르들 해서요 emdeitor 는 정규식을 가장 잘 지원합니다. 그리드 논그리드도 지정할 수 있기 때문에 일괄변환시 가장 원하는 모습으로 되지요. 하지만 속도가 너무 느릴 때가 있습니다. textpad 도 웬만한 정규식을 지원하고 원하는 문구에 배경색과 글자색을 지정해서 다양하게 지정할 수 있기 때문에 가장 애용하는 에디터입니다. 속도도 무척 빨라 15M 가 넘는 사전에서 \n 을 br 로 바꿀 때, emedior 이 30분을 기다려 다운이 되는 것도 이 놈에서는 놀라운 속도로 변환을 완료해 버립니다. 그리고 소팅 기능도 있어 항상 이 놈으로 소트를 한 다음에 사전변환을 겁니다. 한자와 고어가 들어간 문서를 emeditor 에서 열면 알수 없는 인코딩이라며 일부를 날린다고 하는 것도 이 놈은 제대로 읽고 저장을 해줍니다. acroedit 은 국산 에디터 답게 조합형 저장을 할 수가 있습니다. 완성형이 지원하지 못하는 국어사전을 만들 때, 이 걸로 조합형 저장을 합니다. 그리고 중복행 삭제 기능이 있어서 사전 몇 개를 합치다 보면 완전 동일한 줄이 생길 때가 있는데 이 놈으로 중복행을 삭제 합니다. 하나 더 하자면 옛날에 나온 ezpad. acroedit 가 조합형 문서를 읽어들이지 못해서 조합형 문서를 확인할 때 이 놈을 씁니다. 18M 조합형 문서를 읽기는 하는 것으로 보아 가끔은 쓸 만 합니다. 하지만 예전에 편집이 끝난 문서를 중반 이후를 날려버리고 저장한 적이 있어 신뢰하지는 않습니다. 참고용으로만 쓰네요. |
||
|
||
|
||
|
||
|
||
| 요것도 2-16일자로 업데이트 되었습니다. ^^ | ||
|
||
|
||
|
||
|
||
|
명령 과정을 하나 하나 입력한다는 게 손에 익으면 더 유연하긴 하겠습니다. 그래도 익숙해지기엔 좀 걸리네요. ^^ 보니까 원본 소스에서 구분자를 확인하는 작업은 동일하고. # 1) 대소문자 구분하지 않고 만들 때 (영문 데이타) ---- txt 1) 에디터에서 대소문자 구분없이 소트를 한다. (#1.txt) ---- txt 2) 01획, 02획 등의 숫자가 앞에 가는 부분을 따로 빼놓고 저장한다. (#2.txt) -------- Perl 1) Merge 를 한다. (대소문 구분없이) ------------ perl d2mergen.pl [input file] [output file 1] (#3.txt) ---- txt 3) 따로 빼놓은 부분을 [output file 1] 에 합쳐서 저장한다. (#4.txt) -------- Perl 2) 20480 byte 이상 단어를 처리한다. (자동분할을 기본으로) ------------ perl d3split.pl [output file 1] [output file 2] (#5.txt) ---- mkdic 1) mkdic.cfg 에 [output file 2]로 설정한다. ---- mkdic 2) mkdic.exe 를 실행한다. # 2) 대소문자 구분하여 만들 때 (한글 데이타) ---- txt 1) 에디터에서 대소문자 구분하여 소트를 한다. (#1.txt) ---- txt 2) 01획, 02획 등의 숫자가 앞에 가는 부분을 따로 빼놓고 저장한다. (#2.txt) -------- Perl 1) Merge 를 한다. (대소문 구분해서) ------------ perl d2mergec.pl [input file] [output file 1] (#3.txt) ---- txt 3) 따로 빼놓은 부분을 [output file 1] 에 합쳐서 저장한다. (#4.txt) -------- Perl 2) 20480 byte 이상 단어를 처리한다. (자동분할을 기본으로) ------------ perl d3split.pl [output file 1] [output file 2] (#5.txt) (조합형으로 저장할 경우 지원 에디터에서 불러들여 조합형으로 저장 #6.txt) ---- mkdic 1) mkdic.cfg 에 [output file 2]로 설정한다. ---- mkdic 2) mkdic.exe 를 실행한다. 이렇게 되는군요. 따로 빼놓는 부분만 어떻게 해결이 되면, 작업 전체를 배치파일로 만들어 "대소문자 구분/구분없음"으로 데이타 생성 프로그램을 각각 따로 두는 것도 편할 듯 싶은데... Perl 에는 라인의 첫 줄이 숫자로 시작되면 skip 하는 기능이 없을까요? ps: 문서의 가공 순서가 을 1,2,3,, 등으로 동일하게 맞춘다면 perl 구문을 배치파일로 만들어서 쓰니 편하네요. 예를 들어 sp-4txt.bat 으로 해서 c:\perl\bin\perl.exe d3split.pl 4.txt 5.txt 식으로. |
||
|
||
|
||
|
||
|
||
|
배치파일을 써서 한두 개 만들어 보니 쉽네요. ^^;; 패쓰가 걸려있지 않은 perl 을 주욱 입력하면서 할 때는 조금 난감하던데... 순서표를 보면서 파일명만 신경써주니 할 만 합니다. 방금 만든 따끈따끈한 건데, 제대로 되려나 모르겠습니다. 지금 볼일 보러 나가야되서 테스트는 못 해보고 요까이만.. http://kiss.to/aww/lx/_d-dic/lxdic/_ek.zip http://kiss.to/aww/lx/_d-dic/lxdic/_ke.zip http://kiss.to/aww/lx/_d-dic/lxdic/_kk.zip http://kiss.to/aww/lx/_d-dic/lxdic/_kh.zip |
||
|
||
|
||
|
||
|
||
|
업데이트 되었네요. ^^ 데이타를 다시 만들어야 할까요? 원본 소스부터 새로 merge, spilt 부터 작업을 해야하는지, 혹은 이전 *.dic 을 다 합쳐서 하나의 txt 로 만든 다음 mklxdic 만 새로 해주면 되는지 살짝 궁금해집니다. ^^ |
||
|
||
|
||
|
||
|
||
|
MKLXDIC은 몇가지 메모리 관련하여 정리한 것 뿐이니 사전데이터하고는 상관없습니다. 그냥 LXDIC만 사용하시면 됩니다. 쓰면서 필요한 기능을 대충 만들다 보니 복잡해 졌네요. 조만간 한 번 정리해서 올려야 겠습니다. 좋은 하루 되세요. |
||
|
||
|
|
|
|
|
|
|
| Copyright 1999-2024 Zeroboard / skin by zero |