DE19617654C1 - Verfahren zum Codieren eines zwei- oder mehrkanaligen Tonsignals - Google Patents
Verfahren zum Codieren eines zwei- oder mehrkanaligen TonsignalsInfo
- Publication number
- DE19617654C1 DE19617654C1 DE1996117654 DE19617654A DE19617654C1 DE 19617654 C1 DE19617654 C1 DE 19617654C1 DE 1996117654 DE1996117654 DE 1996117654 DE 19617654 A DE19617654 A DE 19617654A DE 19617654 C1 DE19617654 C1 DE 19617654C1
- Authority
- DE
- Germany
- Prior art keywords
- subband
- signals
- signal
- data stream
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000005236 sound signal Effects 0.000 title claims description 9
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims 1
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 claims 1
- 230000003595 spectral effect Effects 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 abstract description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 3
- 238000004040 coloring Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
- H04B1/665—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using psychoacoustic properties of the ear, e.g. masking effect
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3053—Block-companding PCM systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
Die Erfindung bezieht sich auf ein Verfahren zur Codierung mehrkanaliger Tonsignale
gemäß der DE 42 09 544 C2.
In der DE 42 09 544 C2 sind grundsätzliche Blockschaltbilder für einen Encoder und
einen Decoder gezeigt, welche in den Fig. 1 und 2 nochmals wiedergegeben sind.
Wie man aus Fig. 1 erkennt, wird das mehrkanalige Tonsignal mit einer Filterbank
10 in i Teilbänder aufgeteilt. In diesen Teilbandsignalen wird für eine Blocklänge der
Maximalwert ermittelt. Dies ist der Skalenfaktor SCF. Das Teilbandsignal wird mit
dem Skalenfaktor SCF in Normierstufen 12 normiert. Mit einem psychoakustischen
Modell 15, das auf einer Frequenzanalyse, der Anwendung der psychoakustischen
Eigenschaften des menschlichen (Gehörs (Mithörschwelle, Ruhehörschwelle) und einem
Vergleich zwischen den Kanälen entsprechend den binauralen Höreigenschaften des
menschlichen (Gehörs beruht, wird die Quantisierung der normierten Teilbänder in
Quantisierungsstufen 13 gesteuert. Die quantisierten, normierten Teilbandsignale, die
Skalenfaktoren SCF und Nebeninformationen DAL und COM werden in einem
Multiplexer 14 zu einem Datenstrom MUX zusammengefaßt. In dem Decoder gemäß
Fig. 2 wird der Datenstrom durch einen Demultiplexer 24 wieder in Teilbandsignale,
Skalenfaktoren und Nebeninformationen getrennt. Die Nutzsignale werden in
Dequantisierungsstufen 23 dequantisiert und in einem nachfolgenden Dekombinierer in
die ursprünglichen, normierten Teilbandsignale rückgewandelt. In einer
Denormierungsstufe 22 wird die Normierung rückgängig gemacht, worauf die
Teilbandsignale in einer Rekonstruktionsfilterbank 20 wieder zu breitbandigen
Kanalsignalen S₁′′ bis Sn′′ zusammengefügt werden.
Um die Redundanz in den Kanälen S₁ bis Sn des mehrkanaligen Tonsignals zu einer
weiteren Bitratenreduktion auszunutzen, läßt sich bei dem bekannten Verfahren die
Codiermethode des dynamischen Übersprechens (englisch: "Dynamic Crosstalk")
anwenden, welche in der DE 42 09 544 C2 als "Punktierung" bezeichnet ist. Bei dem
dynamischen Übersprechen wird davon ausgegangen, daß für die räumliche Abbildung
mehrkanaliger Signale im höherfrequenten Bereich die Unterschiede der Hüllkuven
ausreichen. Diese Hüllkuven können durch die zeitliche Folge der Skalenfaktoren SCF
angenähert werden. Dafür werden encoderseitig im Kombinierer 11 aus den Teil
bandsignalen, d. h. den Eingangssignalen des Kombinierers 11 Summensignale erzeugt.
Bei einem aus zwei oder mehreren Teilbandsignalen gebildeten Summensignal braucht
nur noch dieses Summensignal anstelle der beiden Teilbandsignale der Normierung und
Quantisierung unterzogen zu werden. Diese Summensignalbildung wird, wie aus Fig.
1 hervorgeht, kanal- und teilbandweise von dem psychoakustischen Modell 15 mittels
des Steuersignals COS gesteuert. Die für den Decoder (Fig. 2) benötigte,
entsprechende Steuerinformation wird als Nebeninformation COM von dem
psychoakustischen Modell 15 an den Multiplexer 14 übertragen.
Mit Hilfe der Codiermethode des dynamischen Übersprechens läßt sich gegenüber einer
mehrfachen monofonen Codierung der einzelnen Kanalsignale eine deutliche
Reduzierung der Datenrate erreichen. Zur Durchführung des Verfahrens gemäß der DE
42 09 544 C2 ist gemäß ISO 13818-3 eine Filterbank 10 festgelegt, welche mit einer
Filterbandbreite von 750Hz und einer Abtastrate von 1,5kHz, d. h., mit kritischer
Abtastung arbeitet. Infolge der kritischen Abtastung entstehen in jedem Teilband große
Spiegelanteile (Aliasing) aus den jeweils benachbarten oberen und unteren Teilbändern.
Diese Spiegelanteile heben sich aufgrund des normierten Filteraufbaus in der
Rekonstruktionsfilterbank 20 wieder heraus. Dies gilt jedoch nur dann, wenn die
Teilbandsignale pegelmäßig zwischen Filterbank 10 und Rekonstruktionsfilterband 20
nicht verändert werden. Diese Voraussetzung läßt sich indessen bei Anwendung der
Codiermethode des dynamischen Übersprechens nicht einhalten. Es ergeben sich
vielmehr in den decodierten Kanalsignalen hörbare Fehler, wie sie beispielhaft aus
einem Vergleich der Spektrogramme gemäß Fig. 3 und 4 ersichtlich sind. Dabei
sind ein und dasselbe Signal das eine Mal ohne dynamisches Übersprechen (Fig. 3)
und das andere Mal mit dynamischem Übersprechen (Fig. 4) codiert. Für die
Darstellungen wurde ein Signal verwendet, welches aus drei Paaren verschiedener
frequenzmodulierter Sinustöne besteht, wobei zur besseren Darstellung die drei
Sinustonpaare zeitversetzt in den Spektrogrammen gemäß Fig. 3 und 4 aufgetragen
sind. Jedes Spektrogramm besteht aus einer Aneinanderreihung von Proben (FFT′s),
die jeweils mittels einer Primfaktoren-Fast-Fourier-Analyse gewonnen wurden. Jede
FFT hat eine Analyselänge von 384 Abtastwerten entsprechend einer Länge von 8ms
bei einer Abtastrate von 48kHz. Die Frequenzmodulation jedes Sinustones erkennt man
anhand seines rampenförmigen zeitlichen Signalverlaufs. Aus dem Vergleich der
Spektrogramme nach den Fig. 3 und 4 erkennt man, daß infolge der Codierung mit
dynamischem Übersprechen in Fig. 4 zusätzlich zu den Sinustönen Störsignalanteile
vorhanden sind. Diese Störsignalanteile entstehen durch die Summenbildung im
Kombinierer 11 und die Erzeugung von Aliasing in der Rekonstruktionsfilterbank 20,
was durch die Steuerung der Denormierungsstufen 22 durch die Skalenfaktoren nicht
beeinflußt werden kann.
Die Differenz zwischen den Spektrogrammen gemäß Fig. 3 und 4 ist in Fig. 5
veranschaulicht. Die Färbung Grau bedeutet in der Darstellung nach Fig. 5 die
Differenz Null, d. h., es liegt kein Fehler vor. Eine Färbung in Richtung Schwarz ist
ein positiver Fehler, eine Färbung in Richtung Weiß ein negativer Fehler. Die Länge
eines Skalenfaktors entspricht der FFT-Länge von 384 Abtastwerten bzw. 8ms. Sechs
Energie-FFT-Linien (Abtastfrequenz von 48kHz) ergeben 750Hz, d. h., die
Filterbandbreite eines Teilbandfilters der Filterbänke 10 und 20. Es sind in Fig. 5
deutlich die von Grau abweichenden Fehler zu erkennen. Da diese Fehlerwerte die
Differenzen der Energien repräsentieren, können sie auch hörbar sein.
Die Aufgabe der Erfindung besteht darin, ein Codierverfahren der genannten Art
dahingehend zu verbessern, daß bei Anwendung der Codiermethode des dynamischen
Übersprechens die hörbaren Fehler deutlich verringert werden.
Diese Aufgabe wird erfindungsgemäß durch die kennzeichnenden Merkmale des
Patentanspruchs gelöst.
Vorteilhafte Ausgestaltungen und Weiterbildungen des erfindungsgemaßen Verfahrens
ergeben sich aus den Unteransprüchen.
Die Lösung der Aufgabe beruht auf der Überlegung, vor einer endgültigen Codierung
der Teilbandsignale die durch das dynamische Übersprechen erzeugten Fehler zu
erfassen und mit Hilfe eines Regelkreises in die endgültige Codierung gegenläufig
einzubeziehen. Hierzu wird in den Encoder ein Decoder eingebaut, mit dem das
vorläufig nach der Methode des dynamischen Übersprechens codierte Signal decodiert
wird. Ferner wird als Sollwert ein ohne dynamisches Übersprechen codiertes Signal
erzeugt und mit dem Istwert, also dem fehlerhaft codierten Tonsignal, verglichen. Der
ermittelte Fehler wird bei der endgültigen Codierung gegenläufig berücksichtigt,
wodurch sich bei der Decodierung der Gesamtfehler wesentlich verringert. Auf diese
Weise kann die Anzahl der Teilbänder, in denen dynamisches Übersprechen eingesetzt
wird, stark erhöht werden, um die erzielbare Datenreduktion entsprechend zu erhöhen.
Die Erfindung wird anhand der Zeichnungen näher erläutert. Es zeigt:
Fig. 6 ein Flußdiagramm zur Erläuterung des erfindungsgemäßen Codier
verfahrens und
Fig. 7 ein Flußdiagramm einer weiteren Ausführungsform des er
findungsgemäßen Codierverfahrens.
Das anhand von Fig. 6 veranschaulichte Codierungsverfahren arbeitet wie folgt:
Es wird ausgegangen von einem bekannten Encoder 61, wie er in der DE 42 09 544
C2 beschrieben und in Fig. 1 in seinem grundsätzlichen Aufbau dargestellt ist. Der
Encoder 61 erzeugt 2 codierte Signale, und zwar eine Signalversion ohne dynamisches
Übersprechen und eine Signalversion mit dynamischem Übersprechen. Beide
Signalversionen werden vollständig mit Hilfe jeweils eines Decoders 62a bzw. 62b
decodiert, dessen grundsätzlicher Aufbau in Fig. 2 dargestellt ist. Danach erfolgt in
Funktionsstufen 63a bzw. 63b eine Frequenzanalyse für jede decodierte Signalversion.
Bei dem Vergleich (Stufe 64) der spektralanalysierten, decodierten Signalversionen
erkennt man den Unterschied zwischen der Codierung ohne dynamisches Übersprechen
und der Codierung mit dynamischem Übersprechen. Dabei stellt die Decodierung mit
dynamischem Übersprechen den Istwert, die Decodierung ohne dynamischem
Übersprechen den Sollwert dar. Die Frequenzanalyse erfolgt in der oben anhand von
Fig. 5 beschriebenen Weise, also exakt für den Bereich, welcher einem Skalenfaktor
entspricht, d. h., bei einer Abtastrate von 48kHz für eine Länge von 8ms und einer
Breite von 750Hz. Die normierte Summation von 6 Energie-FFT-Linien ergibt ein Maß
für den Energiegehalt unter dieser Fläche. Der Fehler ist die Differenz der Werte aus
den beiden unterschiedlichen Codierungen. Diese Differenz wird zu den Skalenfaktoren
der zu korrigierenden Kanäle hinzuaddiert (65). Diese neuen Skalenfaktoren werden in
den bestehenden Datenstrom eingefügt. Dies ergibt das korrigierte Signal.
Um Rechenzeit einzusparen, kann für die Frequenzanalyse des Signals ohne
dynamisches Übersprechen auch die schon für die Psychoakustik benutzten FFT
verwendet werden. Siehe Bild 7. Es kann damit gegenüber der vorherigen
Beschreibung die Hälfte an Rechenzeit eingespart werden, weil die Hälfte der
Rückfilterungen und Frequenzanalysen entfällt. Die noch verbleibende FFT (63) muß
aus Vergleichsgründen natürlich dieselbe 1024er FFT mittig zum 24ms Frame sein, die
auch vorher in der Psychoakustik verwendet wurde. Weil dann nur eine
Frequenzanalyse für 24ms zur Verfügung steht, müssen drei Skalenfaktoren mit einem
Wert korrigiert werden.
Bei speziellen Signalen (insbesondere künstlich erzeugten, siehe Bild 3) kann der Fall
eintreten, daß ein Skalenfaktor geändert werden soll, der gar nicht existiert.
Teilbänder, die keine Bitzuweisung erhalten haben, haben auch keinen Skalenfaktor. In
ihnen kann aber sehr wohl im Decoder durch Aliasing ein deutlich hörbares
Fehlersignal entstehen, das man durch die Skalenfaktoren reduzieren möchte. Das
Einführen dieses Skalenfaktors bei der Codierung mit dynamischer Datenrate ist kein
Problem. Bei der Codierung mit einer festen Datenrate muß u. U. die Bitzuweisung neu
erfolgen, da kein Platz mehr für diesen Skalenfaktor ist.
Claims (2)
1. Verfahren zum Codieren eines zwei- oder mehrkanaligen Tonsignals, mit folgenden
Verfahrensschritten:
- a) Jedes Kanalsignal wird digitalisiert und in eine Anzahl von Teilbandsignalen aufgespalten, wobei die einzelnen Teilbänder überlappend aneinander angrenzen;
- b) in jedem Teilbandsignal wird für eine Blocklänge der maximale Pegelwert ermittelt, welcher den Skalenfaktor SCF für das betreffende Teilbandsignal darstellt;
- c) jedes Teilbandsignal wird mit dem ermittelten, zugehörigen Skalenfaktor SCF normiert;
- d) jedes normierte Teilbandsignal wird nach Maßgabe eines psychoakustischen Modells quantisiert, das auf einer Frequenzanalyse des mehrkanaligen Tonsignals beruht;
- e) aus unterschiedlichen Kanalsignalen werden höherfrequente Teilbandsignale mit jeweils übereinstimmendem Teilbandbereich zu Teilband-Summensignalen addiert, wobei die von der Summenbildung betroffenen Teilbandbereiche und Kanäle durch das psychoakustische Modell entsprechend der Methode des dynamischen Übersprechens selektiert werden und diese Selektion in Form von Nebeninformationen identifiziert wird;
- f) die quantisierten, tiefer- und mittelfrequenten Teilbandsignale sowie die Teilbandsummensignale werden zusammen mit den Skalenfaktoren SCF und den Nebeninformationen zu einem ersten Datenstrom zusammengefaßt, gekennzeichnet durch folgende weitere Merkmale:
- g) Es wird ein zweiter Datenstrom aus dem mehrkanaligen Tonsignal ohne Anwendung der Methode des dynamischen Übersprechens gemäß Schritte erzeugt;
- h) die beiden Datenströme werden getrennt decodiert;
- i) die aus dem ersten Datenstrom decodierten Kanalsignale sowie die aus dem zweiten Datenstrom decodierten Kanalsignale werden spektral analysiert;
- j) für gleiche Kanäle und gleiche Teilbänder der aus der Decodierung beide Datenströme gewonnenen mehrkanaligen Tonsignale werden die Spektralantrieb miteinander verglichen;
- k) es wird ein dritter Datenstrom unter Anwendung der Methode des dynamischen Übersprechens erzeugt, wobei die aus dem Vergleich gemäß Schritt j) gewonnenen Fehlersignale zur Korrektur der Skalenfaktoren SCF benutzt werden, und
- l) der dritte Datenstrom wird als Codierungsergebnis weiter verwendet.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Erzeugung des
zweiten Datenstroms gemäß Schritt g) und dessen Decodierung gemäß Schritt b)
mittels einer Fast-Fourier-Transformation (FFT) erfolgt.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE1996117654 DE19617654C1 (de) | 1996-05-03 | 1996-05-03 | Verfahren zum Codieren eines zwei- oder mehrkanaligen Tonsignals |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE1996117654 DE19617654C1 (de) | 1996-05-03 | 1996-05-03 | Verfahren zum Codieren eines zwei- oder mehrkanaligen Tonsignals |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE19617654C1 true DE19617654C1 (de) | 1997-07-24 |
Family
ID=7793143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE1996117654 Expired - Fee Related DE19617654C1 (de) | 1996-05-03 | 1996-05-03 | Verfahren zum Codieren eines zwei- oder mehrkanaligen Tonsignals |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE19617654C1 (de) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4209544C2 (de) * | 1992-03-24 | 1994-01-27 | Institut Fuer Rundfunktechnik Gmbh, 80939 Muenchen, De |
-
1996
- 1996-05-03 DE DE1996117654 patent/DE19617654C1/de not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4209544C2 (de) * | 1992-03-24 | 1994-01-27 | Institut Fuer Rundfunktechnik Gmbh, 80939 Muenchen, De |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0954909B1 (de) | Verfahren zum codieren eines audiosignals | |
| EP0910927B1 (de) | Verfahren zum codieren und decodieren von stereoaudiospektralwerten | |
| DE69731677T2 (de) | Verbessertes Kombinationsstereokodierverfahren mit zeitlicher Hüllkurvenformgebung | |
| DE69431622T2 (de) | Verfahren und gerät zum kodieren von mit mehreren bits kodiertem digitalem ton durch subtraktion eines adaptiven zittersignals, einfügen von versteckten kanalbits und filtrierung, sowie kodiergerät zur verwendung bei diesem verfahren | |
| DE69525836T2 (de) | Kodierung und dekodierung eines breitbandigen digitalen informationssignals | |
| DE60013785T2 (de) | VERBESSERTE SUBJEKTIVE QUALITäT VON SBR (SPECTRAL BAND REPLICATION)UND HFR (HIGH FREQUENCY RECONSTRUCTION) KODIERVERFAHREN DURCH ADDIEREN VON GRUNDRAUSCHEN UND BEGRENZUNG DER RAUSCHSUBSTITUTION | |
| EP0910928B1 (de) | Codieren und decodieren von audiosignalen unter verwendung von intensity-stereo und prädiktion | |
| DE60202881T2 (de) | Wiederherstellung von hochfrequenzkomponenten | |
| DE69232251T2 (de) | Digitaler Kodierer mit dynamischer Quantisierungsbitverteilung | |
| DE60303214T2 (de) | Verfahren zur reduzierung von aliasing-störungen, die durch die anpassung der spektralen hüllkurve in realwertfilterbanken verursacht werden | |
| DE69401514T2 (de) | Vom rechenaufwand her effiziente adaptive bitzuteilung für kodierverfahren und kodiereinrichtung | |
| DE69107841T2 (de) | Transformationskodierer und -dekodierer mit adaptiver blocklänge, adaptiver transformation und adaptivem fenster für hochwertige tonsignale. | |
| DE69323106T2 (de) | Verfahren und Vorrichtung für perceptuelles Kodieren von Audio-Signalen | |
| EP0193143B1 (de) | Verfahren zur Übertragung eines Audiosignals | |
| DE69401512T2 (de) | Hybride adaptive bitzuteilung für audiokoder und -dekoder | |
| EP1687809B1 (de) | Vorrichtung und verfahren zur wiederherstellung eines multikanal-audiosignals und zum erzeugen eines parameterdatensatzes hierfür | |
| DE69210064T2 (de) | Teilbandkodierer und Sender unter Verwendung dieses Kodierers | |
| DE69028675T2 (de) | Wahrnehmungsgebundene Kodierung von Audiosignalen | |
| DE602005002256T2 (de) | Auf mehrfachparametrisierung basierende mehrkanalrekonstruktion | |
| DE69432538T2 (de) | Digitales Signalkodierungsgerät, dazugehöriges Dekodiergerät und Aufzeichnungsträger | |
| DE602006000239T2 (de) | Energieabhängige quantisierung für effiziente kodierung räumlicher audioparameter | |
| DE69310990T2 (de) | Verfahren zum Einfügen digitaler Daten in ein Audiosignal vor der Kanalkodierung | |
| DE69013738T2 (de) | Einrichtung zur Sprachcodierung. | |
| DE19742655C2 (de) | Verfahren und Vorrichtung zum Codieren eines zeitdiskreten Stereosignals | |
| EP0277613A2 (de) | Verfahren zur Übertragung eines Audiosignals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 8100 | Publication of the examined application without publication of unexamined application | ||
| D1 | Grant (no unexamined application published) patent law 81 | ||
| 8364 | No opposition during term of opposition | ||
| R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee | ||
| R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20141202 |